Amazon ML：Double Descent 为什么不等于模型越大越好？

题意与假设

这道练习题保留了面经中值得训练的核心约束，并将需要澄清的条件单独列出。现场拿到变体时，先和面试官确认这些条件。

• double descent是特定数据/模型/优化/正则设置观察到的误差形态，不是所有架构必有或必在某参数数发生。
• “插值阈值”是训练系统可把训练误差压到近零的区域，不能固定等于参数数=样本数，深度模型有效复杂度受训练过程影响。

解题路线

1. 模型轴：固定数据与训练协议改变容量；epoch轴：固定模型看训练时间；样本轴：固定模型协议改样本。三者图形不能混画后用同一阈值解释。
2. 插值附近拟合数据尤其噪声可能需要不稳定解，test error抬高；更过参数化后某些优化的隐式/显式偏好可选择泛化更好的解。这是条件性解释，不把全部机制说成已被一个简单定理证明。
3. 平方bias/variance分解依旧成立，变的是各项随容量/算法的走势，传统U形单调直觉并不是分解公式本身。数据噪声、正则、训练至收敛与早停会改变峰值。
4. 实验要分别控制容量/epoch、报告train loss、validation/test error与预算，保持数据分割独立。挑看起来第二次下降最好的一轮后再把该test当无偏评估会泄漏，选择用validation，test仅最后。
5. 若越过峰需大预算，不能用现象要求产品无条件加参数/多训；比较正则、更多干净数据、早停与不同容量的收益/成本，预先定义部署约束。
6. 排除随机波动、checkpoint切换、数据处理变化和分布漂移后再解释曲线；多seed和置信区间只是增强证据，不能制造题目未明确的曲线数据。

手动走一遍

虚构容量序列小/中/近插值/更大，test error依次0.30/0.20/0.28/0.15表示可能双下降；这个数列只是解释形态。固定模型训更久也可能出先降后升再降，但不能从容量图直接预测哪一epoch会再下降。

规模与取舍

研究需多容量×训练时长×seed的预算，推理参数/内存也增长。现象没有使训练或推理复杂度下降，实际选择看任务质量/时延/成本。

易错点与追问

容易失分的边界

• 当普适规律保证再下降。
• 参数数等于样本数固定阈值。
• 混模型轴与epoch轴。
• 反复查看test挑最佳轮。
• 看到一条曲线就认定机制。

继续深挖

• 加label noise怎样检验峰值变化？
• early stopping可能怎样改变图形？
• 不同正则强度如何设计公平消融？
• effective complexity为什么受优化预算影响？