题目重点:选择题问同时 increase bias 与 reduce variance 的做法;用模型容量与正则化解释,不推断原选项。
题意与假设
这道练习题保留了面经中值得训练的核心约束,并将需要澄清的条件单独列出。现场拿到变体时,先和面试官确认这些条件。
- bias/variance 指对训练集抽样造成的预测偏差与波动,使用平方损失分解作直觉;具体分类指标不一定严格同式。
- 训练例从过度复杂的模型缩小容量,通常增加 bias、减少 variance,但不是每个数据/超参数都必然单调。
- 最终选择要以验证集总误差与业务目标为准。
解题路线
- 先判断模型是否过拟合:训练误差低、验证误差高且不同训练样本下预测波动大,才考虑降低 variance。
- 加强 L2 正则、降低树深/叶子数、减少高阶特征或选择更简单假设类,会限制拟合能力,常使 bias 上升、variance 下降。
- Bagging 可主要降低 variance,而未必显著增加 bias;增大训练样本常降低 variance,也不能凭此断言 bias 上升。
- 用训练/验证曲线确认:若模型已高 bias,再限制容量可能恶化;选择题如果给具体操作,应看方向和前提。
- 训练例:深度 20 的树改成深度 3,可能漏掉复杂模式(bias 增),但训练集小扰动不再导致巨变(variance 降)。
手动走一遍
两个数据切分下深树分别抓住不同噪声,预测不稳定;浅树共享较粗分割,结果更稳定但无法拟合某些真实非线性。这展示 trade-off,而非保证浅树验证分数更好。
规模与取舍
此为模型选择概念题;若做 K 个候选容量的交叉验证,训练成本约 K 乘每模型成本,空间取决于模型与数据。题目无数值。
易错点与追问
容易失分的边界
- 把‘增加数据’当必然提高 bias。
- 认为 bias 与 variance 可以无代价同时降低。
- 在欠拟合时继续大幅正则。
- 题目无选项却给某一字母答案。
继续深挖
- 怎样用学习曲线诊断高 bias 与高 variance?
- Bagging、boosting 对两者影响为何不同?
- 正则参数过大时会怎样?
