题目重点：用一维最优解推导soft threshold和L2收缩，区分目标诱导稀疏与普通梯度更新。
题意与假设
这道练习题保留了面经中值得训练的核心约束，并将需要澄清的条件单独列出。现场拿到变体时，先和面试官确认这些条件。
- 训练最小化0.5(w−a)²+λR(w)，λ≥0；一般相关多维设计还需完整优化。
- L0表示非零个数，严格说不是真正norm，优化非凸。
解题路线
- L1在0处有折角，其subgradient是区间[−1,1]；最优条件允许一段小信号a被完全抵消，得到soft threshold sign(a)max(|a|−λ,0)。
- L2用0.5λw²时解w=a/(1+λ)，连续收缩，但a非零时通常不变成精确0。特殊数据、数值裁剪或约束可能给零，不要说数学上永远不能零。
- 普通L1梯度/次梯度迭代不一定每步落到0，proximal或坐标下降明确实现阈值。目标偏好稀疏不等于任何optimizer会立即生成大量精确零。
- L0惩罚非零数量，能直接偏向选择更少系数，但离散非凸优化困难。把L0称“范数0”只是习惯名，缺乏齐次等norm公理。
- 特征尺度改变同一λ含义，因此标准化/按特征权重要确认；截距通常是否惩罚需指定，相关特征下L1可能择一而不稳定，Elastic Net结合两者。
- 验证一维闭式解对所有网格候选目标更低，再解释几何菱形/圆只是直观，完整结论依目标与设计矩阵。真实选择λ用验证，不编统一值。
手动走一遍
a=0.3，λ=0.5，L1解0；L2解0.2。a=2，λ=0.5，L1解1.5，L2解4/3。同一λ因两种R定义不同，不能仅比数值大小判断强弱。
规模与取舍
一维prox O(1)，P参数元素级阈值O(P)；多维整体优化成本取决于迭代/数据矩阵，L0一般不能承诺同样高效全局解。
易错点与追问
容易失分的边界
- L2任何情况都绝不为0。
- 加L1普通GD每步一定精确稀疏。
- L0是真正满足公理的norm。
继续深挖
- 相关特征为何不稳定？
- Elastic Net怎样改prox？
- bias要不要惩罚？
