题目重点：把屏幕观察、动作空间、轨迹监督、任务奖励与推理状态机连接起来，处理长任务、验证失败和不可逆动作。
题意与假设
这道练习题保留了面经中值得训练的核心约束，并将需要澄清的条件单独列出。现场拿到变体时，先和面试官确认这些条件。
- 训练场景是用户授权的桌面任务，观察为截图与允许的界面结构，动作是点击/输入/滚动/等待；不预设真实系统能读取任意隐藏状态。
- 定义可逆浏览操作与发送/购买/删除等提交动作的权限边界，策略预测动作不代表动作已成功。
- 题目未明确环境、基础模型、数据集或奖励，本文提出可检验训练设计，不声称特定产品或模型效果。
解题路线
- 先限定任务和成功标准，如在沙箱中找到指定记录并填表，不以‘会操作电脑’作为模糊目标。规范观察、动作schema、坐标参考、当前窗口与时间，给每个动作执行结果及新观察。
- 预训练利用可取得的界面/文本视觉数据学习布局和控件表征；后训练用授权演示轨迹监督观察→动作/子目标。按站点、任务模板、应用版本划train/test，防相同轨迹模板泄漏。
- RL环境必须可重置并有独立成功检查器，奖励关注完成率、违规、步数/延迟与恢复能力。只奖励界面文字看起来正确会被策略钻空子，提交后需业务状态校验；不可逆真实环境不直接拿来试错。
- 长任务用分层子目标和外部状态记录进度，保留决定相关证据而非无限堆截图。纠错轨迹、不同分辨率、弹窗、延迟和故障注入训练恢复；OCR/DOM变化不能靠固定坐标序列硬背。
- 推理loop为观察→策略→动作校验→执行→等待/重新观察→结果核对。动作携当前观察版本，窗口变化后拒绝陈旧坐标；预算/循环检测及权限gate防失控。任务自称完成仍要独立验证。
- 评估按held-out任务成功率、无干预完成、平均/尾步数、错误提交和恢复切片。回放与新环境各测，记录模型/工具/界面版本；线上先低风险任务，再逐级放开可逆范围。
手动走一遍
训练例agent填写地址后页面刷新，旧观察中的提交按钮位置被一个弹窗替代。执行器检测观察版本改变，重新截图并处理弹窗；提交前确认目标地址，提交后检查沙箱业务状态。若只重放原坐标，可能点中删除按钮，任务reward也不应因页面出现‘完成’文本就算成功。
规模与取舍
每任务成本约决策步数×(模型推理+动作+等待)，多模态上下文与截图数量影响token/显存。RL成本按rollout数量、环境时长与验证开销估；不能用单步模型准确率替代长任务成功率，误差会沿轨迹累积。
易错点与追问
容易失分的边界
- 训练标签是动作，却没记录执行后的真实状态。
- 奖励来自模型自评，任务检查器不独立。
- 任务模板/界面版本泄漏。
- 长任务无限append截图而无状态压缩。
- 执行旧坐标且没有权限/预算边界。
继续深挖
- 环境不能重置时如何收集训练轨迹？
- 稀疏终局奖励如何辅助训练且避免reward hacking？
- 新网站零样本如何评估泛化？
- 用户中途修改目标如何废弃旧计划？
