题目重点：MLE Intern VO 直接问 L1/L2 差别；从目标函数、软阈值例子、特征尺度和优化取舍给出可解释答案。
题意与假设
这道练习题保留了面经中值得训练的核心约束，并将需要澄清的条件单独列出。现场拿到变体时，先和面试官确认这些条件。
- 训练解释从线性模型的目标 Ldata(w)+λ||w||₁ 或 Ldata(w)+(λ/2)||w||₂² 出发；是否惩罚偏置项和归一化层参数需按实现决定。
- 比较前对数值特征做合理尺度标准化，否则同一个 λ 对不同量纲权重的意义不一致。
解题路线
- L1 对每个非零权重的惩罚梯度大小近似常量 λ，在零处用次梯度；L2 的梯度为 λw，权重越大收缩越强且在零处平滑。
- 用一维平方损失 (w−z)²/2：L1 最优解是 sign(z)·max(|z|−λ,0)，可精确变零；L2 最优解 z/(1+λ)，一般只缩小不直接为零。
- 若追求稀疏特征选择可考虑 L1，相关特征中它可能任意择一；L2 倾向平滑分摊，数值优化也较稳定。两者可用 Elastic Net 组合。
- 调参需固定切分与尺度、比较验证曲线、模型稀疏度和线上成本；不能只凭 L1 稀疏就断言预测更好。
手动走一遍
z=0.8、λ=1 时，L1 解为 0，L2 解为 0.4；z=3、λ=1 时，L1 解为 2，L2 解为 1.5。具体系数取决于目标函数里 λ 和 1/2 的定义，面试时先写出目标式。
规模与取舍
对 d 维参数，计算 L1/L2 惩罚与梯度均 O(d) 时间，通常 O(1) 到 O(d) 附加空间取决于优化器。L1 的非光滑点可能需要 proximal/坐标下降；训练总成本还取决于模型与数据。
易错点与追问
容易失分的边界
- 说 L2 会必然把许多权重精确设为零。
- 漏写目标函数的 λ 定义，却用固定数字比较结果。
- 忽略特征单位和标准化，误解正则强弱。
- 把权重衰减与所有优化器的 L2 惩罚视为完全等价。
继续深挖
- 高度相关特征下 L1 为什么可能不稳定？
- Elastic Net 在什么条件下更合适？
- 为什么 AdamW 要将 weight decay 与梯度更新解耦？
- Embedding 稀疏表上怎样选择正则策略？
