题目重点：AI Engineer Onsite 题目问自动提取企业 Agent Skill 的 Pipeline，追问 Agent Memory 组成；本文从数据许可、候选技能、离线评测和发布回滚推导。
题意与假设
这道练习题保留了面经中值得训练的核心约束，并将需要澄清的条件单独列出。现场拿到变体时，先和面试官确认这些条件。
- 训练版输入是企业已授权的 Agent 任务轨迹：用户目标、工具调用、状态、结果和人工反馈；输出是可版本化的技能定义，包括适用条件、步骤、工具权限和失败回退。
- 企业租户隔离与 PII 脱敏是硬约束；候选技能要在沙箱工具环境先验证，不能从单次成功轨迹直接发布到生产。
- 训练规模设每天 100 万条轨迹、每租户数十到数千条；真实规模未公开。Memory 作为运行时上下文组成讨论，不把所有记录无限拼到 prompt。
解题路线
- 采集层记录 taskId、结果、调用序列、工具参数摘要、授权范围与反馈；按租户隔离存储并排除未授权敏感内容。
- 将轨迹归一为状态转移，按目标/工具序列/结果聚类；从多次成功与失败轨迹提炼候选 skill，明确触发条件、前提、步骤、禁止动作和成功判据。
- 生成器输出结构化 schema，通过静态校验限制工具权限和参数模板，查重并标注支持它的轨迹证据；高风险技能人工审核。
- 离线评测用按时间与客户划分的 holdout 任务，比较原 agent 与新 skill 的完成率、工具成本、延迟、越权率和错误恢复；对负例做 adversarial 回放。
- 灰度发布带 skillVersion，按租户/任务分组 A/B，追踪成功率与回滚率；出现权限或质量回归可立即禁用该版本。
- Memory 拆成会话短期状态、已批准的长期用户/组织偏好、任务检索证据和技能库；分别设 TTL、来源引用、删除权与冲突优先级。
手动走一遍
某企业 500 条“周报导出”轨迹中有 420 条成功。聚类发现共同步骤为校验工作区权限、拉取本周数据、生成表格、请求用户确认后发送。候选 skill 不保留具体员工姓名；在 100 条时间后移的任务上沙箱重放，若完成率提升但未经确认发送率也上升，则不得发布，需把确认动作做成强制门槛。
规模与取舍
轨迹数 T、平均步骤 L，标准化处理量约 O(TL)；聚类/检索取决于索引和候选规模，LLM 生成成本与候选数成正比。1M 条/天×2KB 摘要约 2GB/天，仅为训练估算；原始工具输入输出可能大得多，应分层保留。
易错点与追问
容易失分的边界
- 从一条成功轨迹直接归纳可复用技能，忽略偶然路径与失败反例。
- 把跨租户轨迹混合训练，泄露内部工具参数和客户数据。
- 只评估生成文本是否像技能，不测真实任务成功与权限违规。
- 把未经验证的长期记忆当事实覆盖当前用户指令。
- skill 发布没有版本、来源和回滚路径。
继续深挖
- 轨迹反馈稀疏且成功标签可能错误，如何做人工抽检与反事实评估？
- Agent Memory 的用户偏好、任务证据和技能库发生冲突时怎样排序？
- 跨企业可共享的通用技能和租户私有技能如何隔离？
- 工具 API 变更后，如何检测并自动重验证受影响技能？
