题目重点：平方损失分解、训练集重复实验与容量/正则取舍，避免把单次训练差解释成variance。
题意与假设
这道练习题保留了面经中值得训练的核心约束，并将需要澄清的条件单独列出。现场拿到变体时，先和面试官确认这些条件。
- y=f(x)+ε，E[ε|x]=0，固定x，以随机训练集D得到预测fhat_D(x)。
- 误差对训练集和新观测噪声取期望，训练数据与测试噪声独立；分类0/1损失的分解另定义。
解题路线
- 平方期望误差= (E_D[fhat_D(x)]−f(x))² + E_D[(fhat_D(x)−E_D[fhat_D(x)])²] + Var(ε|x)。中间交叉项因中心化/独立而消失，不能忽略假设只背三项。
- bias是平均预测偏离真函数，variance是换训练集时预测波动。单次training loss高低不能直接测variance；重复seed只测部分优化随机性，不等于换独立训练集的全部波动。
- 简单模型可能低波动但表达不足，高容量可降bias但更依赖样本/正则/优化；经典U形是常见直觉，并非参数数越多variance必单调增加的定理。
- 正则、数据量、特征噪声、集成和早停会改变分解。bagging在成员有相关性时收益有限，不能简单说K个模型variance必除K；共变项要计入。
- 过拟合指对训练样本拟合好但对独立同目标总体泛化差，欠拟合指训练任务本身也未充分拟合；不能仅按参数数判定。先核数据/标签、优化是否收敛和切分有效，再测增样本、正则/早停、容量或特征消融。实践用学习曲线、独立验证、不同训练抽样的预测稳定性诊断。训练与验证都差可检查欠拟合/标签/优化；train好test差也可能分布漂移/泄漏合同，而不只高variance。
- 用任务效用与推理预算选模型，而不是只减少某一理论项；噪声难估且真f未知时报告可观察诊断和可验证消融。
手动走一遍
同一x真值10，换训练集预测始终8：bias²4、variance0；预测9/11各一半：bias0、variance1。若观测噪声方差2，两者期望平方误差分别6与3。例子显示平均准确性和稳定性是不同量。
规模与取舍
分解是统计期望，无单一运行复杂度。R次重采样训练成本约R倍训练预算，在线ensemble再增加成员推理成本；不能省略实践估计成本。
易错点与追问
容易失分的边界
- 单次train-test gap等于variance。
- 分类准确率直接套平方分解。
- 容量更大必更差。
- 集成成员高度相关仍说除K。
继续深挖
- 数据变多为什么可能降低variance？
- label noise怎样影响诊断？
- 不同seed与bootstrap分别测什么？
- bias variance如何与double descent同时成立？
