题目重点：将业务目标、标签/样本单位、数学指标与时间/用户划分连起来，区分RAG评测与监督任务。
题意与假设
这道练习题保留了面经中值得训练的核心约束，并将需要澄清的条件单独列出。现场拿到变体时，先和面试官确认这些条件。
- 本文用二分类/排序自拟任务说明通用流程；题目实际项目、标签和基线未给，不为作者补业绩。
- RAG生成质量/ground-truth另见q29；本题重点监督项目目标、验证合同与选择证据。
解题路线
- 先给业务输出和损失：风险排序、阈值决策或推荐TopK是不同任务。说明label何时成熟、正负定义、评价单位和错判成本，才能解释为何选AUC/PR/precision/recall/calibration/排序指标。
- 数学定义必须配分母：precision=TP/(TP+FP)，recall=TP/(TP+FN)，accuracy=(TP+TN)/总数；AUC是正负score比较的概率式并列按0.5，不能把AUC理解成当前阈值accuracy。零分母合同单列。
- 类别不平衡时先核真正稀有类与误标、目标成本。训练可用class weighting或重采样，但必须防重复样本跨split；权重改变学习分布/损失，概率需在自然分布独立验证校准。阈值按实际容量和错判成本调，不默认0.5。类别不平衡时PR与precision@目标recall常更贴近有效操作量；probability用于决策还要检校准/log loss。单一指标不足，给主指标、护栏与切片，不因为大家都报AUC就照用。
- 验证划分按上线情境：未来预测用时间，泛化新人用用户组，近重复文档/商品不能跨集合。清洗器、标准化、特征选择与target encoding只在训练折拟合，不能先全量处理再split。
- 分层保label比有助稳定评估，但不能破坏时间/用户边界；按目标业务分布加权汇总，解释oversampling训练分布与测试自然分布不同。调阈值/超参用validation，最终test保持独立。
- 数据清洗/特征工程给具体失败模式与消融：移除污染、保留missing indicator、检查训练上线parity；不是罗列所有方法。报告CI/采样误差和下游真实决策效用，而不是编造固定改善百分点。
手动走一遍
自拟1000用户、10正样本，全判负accuracy99%但recall0。若业务每天只能审查20人，应评Top20 precision/recall和人审成本。若同用户历史在train、未来在test却特征聚合用了未来标签，metric再高也不能证明线上可用。
规模与取舍
混淆矩阵O(n)；精确AUC/PR/排序通常需score排序O(n log n)，bootstrap/多折再乘重复量。数据/模型训练成本另计，不能把评估划分当无成本。
易错点与追问
容易失分的边界
- 指标名不给定义。
- 随机split泄漏未来/同用户。
- target encoding全量拟合。
- 不平衡accuracy掩盖漏检。
- test上选阈值。
继续深挖
- 用户多条记录CI如何抽样？
- 多任务如何选主指标？
- 标签成熟慢如何避免错当负例？
- 训练重采样后概率怎样校准？
