题目重点:说明概率MSE可以用于分类,比较sigmoid后的梯度,而非错误断言MSE完全不可用。
题意与假设
这道练习题保留了面经中值得训练的核心约束,并将需要澄清的条件单独列出。现场拿到变体时,先和面试官确认这些条件。
- 训练二分类p=σ(z),MSE指(p−y)²,CE指Bernoulli负对数似然;logit对标签的MSE是另一目标。
解题路线
- CE对应二元观察y的Bernoulli负对数似然,对logit梯度p−y。互斥多类对应softmax CE,任务模型与loss应一致。
- 概率MSE也称Brier类评分,其对logit梯度2(p−y)p(1−p)。高置信但错误时p(1−p)很小,梯度可能比CE弱,优化更难纠正饱和错误。
- MSE不是不能分类:固定x真实正率q,期望平方损失q(1−p)²+(1−q)p²的最优p=q,同样可学习概率。问题通常是参数化/优化和目标适配,不是数学上永远无效。
- 直接对未约束logit和0/1标签做MSE可以产生非概率值,阈值与校准需另定;不要把它与sigmoid后Brier混为同一情况。
- CE对极错预测惩罚大,数据噪声/错标签会影响鲁棒性;Brier有不同惩罚形状,选择应按评价、校准和鲁棒需求,不能仅背CE永远赢。
- 多标签、类别权重、label smoothing会改变具体梯度与归约。比较损失时控制初始化、学习率与训练预算,检验验证指标,不从loss数值较小推出模型更好。
手动走一遍
y=1,p=0.001,CE对z梯度≈−0.999,MSE≈−0.001996;二者都推动增z,但强度不同。真实正率q=0.6时概率MSE最优p0.6,证明它并非原则上不能用于分类。
规模与取舍
每例/类计算线性,优化效率不能单由单次算术复杂度判;训练稳定和泛化需实验。
易错点与追问
容易失分的边界
- MSE永远不能分类。
- 概率与logit MSE混用。
- 不同loss数值直接比较优劣。
继续深挖
- Brier如何分解校准和区分能力?
- 噪声标签下CE如何稳定?
- 多类MSE梯度怎样推?
