题目重点：从可验证任务、人工校准、LLM judge 偏差与线上代理指标出发，回答 Oracle ML Agent 面经的多轮质疑。
题意与假设
这道练习题保留了面经中值得训练的核心约束，并将需要澄清的条件单独列出。现场拿到变体时，先和面试官确认这些条件。
- 先固定 agent 执行的任务类型：可验证操作、主观写作、长程工具调用要分开评价；不假设一个总分可代表全部。
- 评估集保留任务输入、允许工具、环境版本和关键风险级别；非确定输出要对同一输入重复采样。
解题路线
- 对可验证任务先设硬指标：API 是否正确调用、最终状态是否满足断言、有没有越权或泄漏、成本和延迟；这些比主观 judge 更可复核。
- 主观部分建立盲评标注指南和多位标注者，测一致性并保留分歧样本；开发者不应独自给自己系统打分。
- LLM judge 只作可扩展的辅助信号：使用成对比较、隐藏系统来源、注入反例和人工校准集，量测与人类标注的一致性及过度自信。模型版本变化后重新校准。
- 缺用户显式反馈时观察任务完成、重试、撤销、人工接管与后续修正等在线信号，但须承认这些只是代理指标，会受位置和用户群影响。
- 发布前对多次运行报告成功率分布、尾部失败与高风险场景；线上用小流量实验、故障案例抽样和人工复核，设置回退门槛。
手动走一遍
若 Agent 为用户改日历，最终事件时间正确、没有重复预约是硬断言；回答措辞自然度可以盲评。LLM judge 给 95% 高分，但人工发现 10% 不必要的外部邀请，应把这类高风险失败单列并停止上线。
规模与取舍
设任务数 N、每任务重复 R 次、每次平均 L 个步骤，执行评估至少 O(NRL)；人工复核成本随抽样比例和风险层级变化，必须明确预算与置信区间。
易错点与追问
容易失分的边界
- 只问用户点赞；沉默用户和幸存者偏差使反馈不完整。
- 直接让同系 LLM judge 给绝对分数并当真值。
- 只看平均分，忽略少量越权、错误操作和难例方差。
继续深挖
- 怎样构建防止评估集泄漏和 judge 被提示词操纵的测试？
- 人工标注者分歧很大时，如何区分题目本身主观与标注指南不清？
- 任务环境变化后，如何让离线结果与线上行为继续可比？
