题目重点：把参数惩罚、训练随机化和提前停止分清，比较稀疏性、权重收缩、训练推理差异与验证集选择。
题意与假设
这道练习题保留了面经中值得训练的核心约束，并将需要澄清的条件单独列出。现场拿到变体时，先和面试官确认这些条件。
- 训练版目标 L(θ)=经验损失+λR(θ)，λ≥0；是否惩罚 bias、归一化层参数或 embedding 须明确。
- 示例讨论监督学习的过拟合控制，不假定特定模型/数据规模；训练/验证/test 正确分离。
- λ 与停止轮次只在验证集上选，不在最终测试集反复调参。
解题路线
- L1 使用 R=Σ|θ_i|，在零处不可微但可用次梯度/近端方法，倾向把部分权重压到精确 0，可作稀疏选择；高度相关特征可能不稳定择一。
- L2 使用 R=Σθ_i²（或约定 1/2 系数），梯度使权重平滑收缩而通常不精确为零；对共线特征分摊更稳定。不同 optimizer 的 weight decay 与把 L2 加到 loss 只有在条件满足时等价，不能一概混同。
- Dropout 训练时随机屏蔽激活、推理时关闭并按实现约定缩放，属于随机化正则，不是同一个形式的参数范数项；LN/BN 与 Dropout 的交互需实验。
- Early Stopping 监控验证指标并停止训练、保留最佳 checkpoint，限制过拟合；要设置最小改善和耐心，避免噪声导致过早停。
- 从 train/val learning curve 判断是高方差还是高偏差；若训练集本身拟合差，盲目加大正则可能更差。做 λ 网格或对数搜索并报告分层指标。
手动走一遍
两个高度相关特征预测相同信号时，L1 可能让一个权重归零、另一个保留；L2 常把权重都缩小。训练误差 1%、验证误差 20% 可能有过拟合，适度正则可试；若训练/验证误差都高，先查模型能力和数据质量。
规模与取舍
L1/L2 每步额外 O(P) 参数操作；Dropout 每步生成 O(A) 激活掩码；Early Stopping 增加验证评估次数和最佳 checkpoint 存储。P/A 分别为被惩罚参数/激活数量，真正成本随架构和频率变。
易错点与追问
容易失分的边界
- 把 L1、L2 说成完全相同，只是系数不同。
- 宣称 L2 必定给稀疏零权重。
- 把 Dropout 当推理时也随机丢激活。
- 用 test 集反复选择 λ 并报同一 test 分数。
- 训练已严重欠拟合仍继续加大正则。
继续深挖
- Elastic Net 为何结合 L1/L2？
- AdamW 的 decoupled weight decay 与 L2 penalty 有什么差异？
- 稀疏高维特征和共线特征分别偏好何种惩罚？
- 早停监控不平衡数据时选哪个验证指标？
