题目重点:MLE 电面与 intern VO 均问 bias–variance、过拟合和防治;以训练/验证误差、数据切分和干预实验区分高偏差、高方差与分布漂移。
题意与假设
这道练习题保留了面经中值得训练的核心约束,并将需要澄清的条件单独列出。现场拿到变体时,先和面试官确认这些条件。
- 训练集与验证集按目标上线场景正确切分,评估指标一致;时间、用户或商家实体泄漏需先排除。
- 本文将高偏差理解为训练与验证表现都差,高方差理解为训练好而验证明显差;经典 bias–variance 分解严格适用条件比这个经验诊断更窄。
解题路线
- 先检查是否有数据泄漏或训练/线上分布差异;否则仅凭 validation gap 可能误判过拟合。
- 画训练样本量增加时的训练/验证损失与置信区间。训练与验证都差,先查标签质量、特征表达、欠拟合和优化不足;训练好验证差,再查模型复杂度、样本量、正则化与早停。
- 高方差干预依次尝试更多独立训练数据、合理增强、限制模型容量、L2/Dropout/早停,并比较固定验证集与多个 seed;高偏差可增特征、提高模型容量或优化训练。
- 推荐/广告场景按时间切分,确保同一用户历史不会穿越标签时间;离线改善必须经过线上 A/B,观察点击以外的留存与负反馈。
手动走一遍
模型 A 训练 AUC=0.61、验证=0.60,差距小但都低,优先查欠拟合或特征问题。模型 B 训练=0.95、验证=0.64,差距大,先查泄漏、切分和高方差。若验证集是旧年份而线上为新年份,分布漂移也可造成 B 的差距,不能直接归咎容量。
规模与取舍
若训练一次成本 C,比较 K 种干预与 R 个随机种子需要约 O(KRC) 训练计算;样本量曲线还需多个训练集大小。指标置信区间和按用户分组重采样带来额外统计成本。
易错点与追问
容易失分的边界
- 把训练好、验证差直接判过拟合而不查数据泄漏或时间漂移。
- 只增加正则化,不先确认训练是否已收敛。
- 用验证集反复调到最优后仍把同一验证集当无偏最终测试。
- 只看单个总体 AUC,忽略新用户、长尾内容和安全分组。
继续深挖
- 数据量翻倍后验证仍无改善,下一步怎样定位?
- 为什么随机切分可能高估推荐系统线上效果?
- 早停如何避免用测试集调参?
- 模型容量增加时偏差与方差是否一定单调变化?
