题目重点：对比绝对值与平方惩罚、近端soft-threshold及多重共线性，衔接AdamW解耦区别。
题意与假设
这道练习题保留了面经中值得训练的核心约束，并将需要澄清的条件单独列出。现场拿到变体时，先和面试官确认这些条件。
- loss采用Ldata+λ||w||1或Ldata+(λ/2)||w||²2，λ≥0，bias是否惩罚另定。
- 特征尺度影响同一惩罚的实际作用；不是不预处理直接比较两个λ数值。
解题路线
- L2导数λw平滑缩小权重，L1非零处subgradient λsign(w)，0处是区间。稀疏性常来自目标几何/近端更新，不把简单减固定sign就说每次必稳定得到精确零。
- L1近端step soft-threshold(w−ηg,ηλ)，幅值≤ηλ变0，否则向0缩阈值；L2近端为v/(1+ηλ)。这与把正则项梯度放进某optimizer不是同一具体更新。
- L1可选出少量特征，相关特征可能选谁不稳；L2常把相关信号分担，系数可解释仍受编码/共线/标准化影响，不把非零权重当因果。
- 正规化/惩罚只由训练/validation调λ，test保留；λ大可能欠拟合，数据泄漏或坏label不能靠正则自动解决。看学习曲线与重复抽样的参数/预测稳定性。
- Adam下L2梯度进moment不等于AdamW解耦衰减，另见q128。训练loss的sum/mean与样本数改变λ的相对强度，必须定义。
- 若混合L1/L2 elastic-net，两个系数/比例清楚，稀疏与组相关性取舍用任务评估，不因多一种正则就保证更好。
手动走一遍
自拟prox输入v=(0.1,−2)、阈值0.2，L1输出(0,−1.8)；L2若ηλ0.2输出约(0.0833,−1.6667)。前者可精确置零，后者非零持续缩小，体现不同更新。
规模与取舍
P参数惩罚/梯度或逐坐标prox O(P)时间，额外少量状态；稀疏结果能否降低推理成本取决于存储/kernel，零多不自动让dense GEMM更快。
易错点与追问
容易失分的边界
- L1在0强行取唯一导数。
- sign梯度一步就保证稀疏收敛。
- 尺度未控比较λ。
- L2等同任意optimizer decay。
- 零多就保证GPU加速。
继续深挖
- 相关特征L1选择如何检稳定？
- sum loss与mean loss怎样换λ？
- group sparsity怎样定义？
- bias/LN是否惩罚怎样消融？
