题目重点:少数欺诈标签下,避免用accuracy掩盖漏检。
题意与假设
这道练习题保留了面经中值得训练的核心约束,并将需要澄清的条件单独列出。现场拿到变体时,先和面试官确认这些条件。
- 训练合同为二分类风险评分,标签可能延迟且调查资源有限;具体业务损失未给。
- 不直接提供现实金融决策门槛,阈值例为面试模型设计。
解题路线
- 先按时间定义事件与标签窗口,避免把调查后的信息作为预测时特征。冷启动用规则/可解释基线与人工复核,逐步收集覆盖可靠标签。
- 不平衡可加权/采样,但评估保持真实分布,输出概率需校准。按用户/实体隔离近重复,防止训练验证泄漏。
- 关注PR曲线、业务成本和固定复核容量下的召回;分层误报及概念漂移。阈值根据行动成本与容量确定,延迟标签让实时“准确率”不完整。
手动走一遍
万事件10欺诈,全部预测正常accuracy99.9%却召回0。若每日只能复核100项,评估top100召回与其中实际欺诈比例,而非任意阈值accuracy。某规则上线后被调查用户标签更多,训练数据有选择偏差,需要抽样复核/审计估漏。
规模与取舍
实时特征查询与评分受SLA;离线标签成熟周期、复核吞吐和误报成本决定迭代速度。
易错点与追问
容易失分的边界
- 过采样后未经校准的分数不等于真实发生概率。
- 模型介入改变被观察标签,不能把所有数据视为随机采样。
继续深挖
- 标签很慢怎样用代理指标监控但不误称最终精度?
- 新攻击样式出现时如何规则止损并重新训练?
