题目重点：比较监督示范、偏好对训练与线上反馈的适用条件、成本、偏差和安全评估。
题意与假设
这道练习题保留了面经中值得训练的核心约束，并将需要澄清的条件单独列出。现场拿到变体时，先和面试官确认这些条件。
- 训练目标是让助手更符合用户任务偏好和安全/事实约束，先确定任务分布与不可妥协护栏。
- 有少量高质量示范答案和成对偏好反馈，反馈可能有标注者分歧、位置偏差和群体差异。
- 模型训练预算、推理限制和部署策略均未由题目给出，以下是方法选择框架。
解题路线
- 先将指标拆为任务正确性、偏好胜率、事实性、安全、拒答过度、延迟与成本；定义对哪些请求对齐，谁提供偏好，以及标注说明。
- SFT 用示范答案教会格式与基本行为，优点是简单稳定、可控；缺点是示范覆盖有限，不能直接利用‘两个答案哪个好’的比较信号。
- 偏好对方法可选先训练奖励模型再做策略优化，或直接偏好优化：前者可显式建奖励并在线迭代但优化/奖励作弊风险和算力成本较高；后者训练流程较简洁，但仍依赖偏好数据质量、参考分布和覆盖。
- 在线反馈或 bandit 式改进能适应新任务，却受展示策略和选择偏差影响；先在低风险流量探索并记录 propensity，不能把用户点击直接当真实质量。
- 偏好数据要覆盖难题、拒答、工具使用、不同语言和少数场景；按标注者/场景评估分歧，防止模型学会讨好格式而牺牲真实性。
- 离线留出测试与红队/安全集、线上 A/B、回滚门槛一起使用；在模型训练前后比较基线，避免只报整体 preference win rate。
手动走一遍
两个回答 A/B 中 A 更流畅但编造来源，B 简洁且可追溯。若标注指引只奖励流畅度，偏好训练会放大幻觉。因此偏好标准需把事实/引用作为门槛，再比较表达；上线还要检查拒答率是否意外飙升。
规模与取舍
SFT 训练量随示范 token 数增长；成对偏好优化通常需处理 chosen/rejected 两条序列；奖励模型加策略优化多一套训练/采样过程。精确 FLOPs 随参数量、序列长、批量及方法而变，题目没有数据规模。
易错点与追问
容易失分的边界
- 把人类偏好胜率当事实正确性或安全性的充分证明。
- 只列算法缩写，没有比较数据需求、偏差、成本与回滚。
- 不记录线上展示概率就直接用点击训练。
- 奖励模型对训练分布外答案打高分时仍盲目优化。
继续深挖
- 标注者对安全和帮助性冲突时如何制定准则？
- 长答案因格式受偏好，怎样避免长度偏差？
- 新模型过度拒答但偏好胜率上升时如何定位？
- 怎样防止模型优化奖励代理而牺牲真实任务成功？
