MLE / ML Intern · Phone ML Fundamentals / VO Technical Screen

Pinterest Bias–Variance 与过拟合:从学习曲线定位问题

MLE 电面与 intern VO 均问 bias–variance、过拟合和防治;以训练/验证误差、数据切分和干预实验区分高偏差、高方差与分布漂移。

题目重点:MLE 电面与 intern VO 均问 bias–variance、过拟合和防治;以训练/验证误差、数据切分和干预实验区分高偏差、高方差与分布漂移。

题意与假设

这道练习题保留了面经中值得训练的核心约束,并将需要澄清的条件单独列出。现场拿到变体时,先和面试官确认这些条件。

  • 训练集与验证集按目标上线场景正确切分,评估指标一致;时间、用户或商家实体泄漏需先排除。
  • 本文将高偏差理解为训练与验证表现都差,高方差理解为训练好而验证明显差;经典 bias–variance 分解严格适用条件比这个经验诊断更窄。

解题路线

  1. 先检查是否有数据泄漏或训练/线上分布差异;否则仅凭 validation gap 可能误判过拟合。
  2. 画训练样本量增加时的训练/验证损失与置信区间。训练与验证都差,先查标签质量、特征表达、欠拟合和优化不足;训练好验证差,再查模型复杂度、样本量、正则化与早停。
  3. 高方差干预依次尝试更多独立训练数据、合理增强、限制模型容量、L2/Dropout/早停,并比较固定验证集与多个 seed;高偏差可增特征、提高模型容量或优化训练。
  4. 推荐/广告场景按时间切分,确保同一用户历史不会穿越标签时间;离线改善必须经过线上 A/B,观察点击以外的留存与负反馈。

手动走一遍

模型 A 训练 AUC=0.61、验证=0.60,差距小但都低,优先查欠拟合或特征问题。模型 B 训练=0.95、验证=0.64,差距大,先查泄漏、切分和高方差。若验证集是旧年份而线上为新年份,分布漂移也可造成 B 的差距,不能直接归咎容量。

规模与取舍

若训练一次成本 C,比较 K 种干预与 R 个随机种子需要约 O(KRC) 训练计算;样本量曲线还需多个训练集大小。指标置信区间和按用户分组重采样带来额外统计成本。

易错点与追问

容易失分的边界

  • 把训练好、验证差直接判过拟合而不查数据泄漏或时间漂移。
  • 只增加正则化,不先确认训练是否已收敛。
  • 用验证集反复调到最优后仍把同一验证集当无偏最终测试。
  • 只看单个总体 AUC,忽略新用户、长尾内容和安全分组。

继续深挖

  • 数据量翻倍后验证仍无改善,下一步怎样定位?
  • 为什么随机切分可能高估推荐系统线上效果?
  • 早停如何避免用测试集调参?
  • 模型容量增加时偏差与方差是否一定单调变化?
✓已复制微信号!