Nvidia Confidence Calibration：概率可信度、ECE 与温度缩放

题意与假设

这道练习题保留了面经中值得训练的核心约束，并将需要澄清的条件单独列出。现场拿到变体时，先和面试官确认这些条件。

• 训练例按分类模型的 top-label confidence 讨论：预测某样本正确的概率若报 0.8，长期相似预测中约 80% 应正确。题目未限定二分类、多分类或任务类型。
• 校准集、模型选择集和最终测试集分开；若业务样本带选择偏差、标签延迟或类别不平衡，校准评估应按目标线上人群重加权或分组。
• 下面的 ECE 分箱与温度缩放是具体方法，不是面经给定算法；是否优化概率质量、阈值决策或风险覆盖，应由客户目标决定。

解题路线

1. 先分清 discrimination 与 calibration：准确率或 AUROC 衡量排序/分类能力，校准问预测概率与真实频率是否相符。可用可靠性图将置信度分桶，对比各桶平均 confidence 与实际 accuracy。
2. ECE 定义为各桶样本占比乘以 |桶内准确率−平均置信度| 的和；同时看 NLL 或 Brier score，避免单个分箱指标掩盖极端概率和小人群问题。桶数、等宽/等频方式和样本量会影响估计稳定性。
3. 若模型输出 logits，temperature scaling 用独立校准集选择 T>0，再计算 softmax(logits/T)。T>1 通常让分布更平，T<1 更尖；同一正 T 不改变 logits 的类别排序，但不能保证所有业务分组都改善。
4. 把业务动作放回回答中：例如需要自动处理低风险请求和人工复核高风险请求，就按误判成本选择阈值，报告在目标覆盖率下的错误率及分组可靠性；校准变好也不自动意味着决策损失最低。

手动走一遍

训练示例中有 100 个预测置信度约 0.9 的样本，但只有 70 个预测正确，这一桶的误差约 0.2，对总体 ECE 贡献为该桶样本占比×0.2。若客户要把 ≥0.9 的样本自动通过，这种过度自信会低估人工复核需求。温度缩放后还须在留出的测试集和重要人群上复测。

规模与取舍

有 M 个样本、C 个类别、B 个桶：已有预测概率的分桶统计 O(M+B) 时间、O(B) 空间；若从 logits 计算 softmax，还需 O(MC)。温度 T 的拟合成本取决于优化迭代次数和校准集大小，参数虽只有一个，也必须保留独立测试集防止过拟合评估。

易错点与追问

容易失分的边界

• 把 90% 准确率直接称为模型 90% 校准；两者衡量的问题不同。
• 只报全局 ECE，忽略罕见类别、特定客户群或高风险置信度区间可能严重过度自信。
• 在最终测试集上拟合温度又用同一集合声称泛化改进，造成评估泄漏。
• 把校准概率当作自动决策阈值；阈值还取决于客户的误判成本和复核容量。

继续深挖

• 若有分布漂移，监控线上分箱与有标签样本的校准度，并定义重校准触发条件；标签延迟会让即时估计偏差。
• 若数据按客户群差异很大，比较全局温度、分组温度与分层模型的样本量和过拟合风险。
• 若是回归或生成模型，置信区间覆盖率与序列级可信度需要重新定义，不能直接套 top-label ECE。