MLE / Research · ML Fundamentals

TikTok 分类为什么常选 CE 而非 MSE:似然与饱和梯度

说明概率MSE可以用于分类,比较sigmoid后的梯度,而非错误断言MSE完全不可用。

题目重点:说明概率MSE可以用于分类,比较sigmoid后的梯度,而非错误断言MSE完全不可用。

题意与假设

这道练习题保留了面经中值得训练的核心约束,并将需要澄清的条件单独列出。现场拿到变体时,先和面试官确认这些条件。

  • 训练二分类p=σ(z),MSE指(p−y)²,CE指Bernoulli负对数似然;logit对标签的MSE是另一目标。

解题路线

  1. CE对应二元观察y的Bernoulli负对数似然,对logit梯度p−y。互斥多类对应softmax CE,任务模型与loss应一致。
  2. 概率MSE也称Brier类评分,其对logit梯度2(p−y)p(1−p)。高置信但错误时p(1−p)很小,梯度可能比CE弱,优化更难纠正饱和错误。
  3. MSE不是不能分类:固定x真实正率q,期望平方损失q(1−p)²+(1−q)p²的最优p=q,同样可学习概率。问题通常是参数化/优化和目标适配,不是数学上永远无效。
  4. 直接对未约束logit和0/1标签做MSE可以产生非概率值,阈值与校准需另定;不要把它与sigmoid后Brier混为同一情况。
  5. CE对极错预测惩罚大,数据噪声/错标签会影响鲁棒性;Brier有不同惩罚形状,选择应按评价、校准和鲁棒需求,不能仅背CE永远赢。
  6. 多标签、类别权重、label smoothing会改变具体梯度与归约。比较损失时控制初始化、学习率与训练预算,检验验证指标,不从loss数值较小推出模型更好。

手动走一遍

y=1,p=0.001,CE对z梯度≈−0.999,MSE≈−0.001996;二者都推动增z,但强度不同。真实正率q=0.6时概率MSE最优p0.6,证明它并非原则上不能用于分类。

规模与取舍

每例/类计算线性,优化效率不能单由单次算术复杂度判;训练稳定和泛化需实验。

易错点与追问

容易失分的边界

  • MSE永远不能分类。
  • 概率与logit MSE混用。
  • 不同loss数值直接比较优劣。

继续深挖

  • Brier如何分解校准和区分能力?
  • 噪声标签下CE如何稳定?
  • 多类MSE梯度怎样推?
✓已复制微信号!