Senior Lead AI Engineer · Power Day AI Engineering / System Design

Capital One Enterprise Agent Platform:工具权限、护栏与评估

Senior Lead AI SD 题目明确 Enterprise Agent Platform 题名;以企业工具执行、审批、审计和评估构造可讨论设计。

题目重点:Senior Lead AI SD 题目明确 Enterprise Agent Platform 题名;以企业工具执行、审批、审计和评估构造可讨论设计。

题意与假设

这道练习题保留了面经中值得训练的核心约束,并将需要澄清的条件单独列出。现场拿到变体时,先和面试官确认这些条件。

  • 训练版先支持企业内部检索和受控工具调用,多租户隔离;具体工具和数据等级由面试官确认。
  • 对高影响写操作设置人工审批;模型输出不直接成为权限凭据或交易命令。

解题路线

  1. 先问主要用户、任务、成功标准和失败代价;区分只读问答与可执行任务,确定延迟/成本/审计要求。
  2. 建立入口/API、身份与租户上下文、任务状态机、模型路由、检索层、工具注册表、执行沙箱和审计日志;每次工具调用用用户/服务权限重新授权。
  3. 规划器产生候选动作后,策略层检查允许工具、参数范围、数据分类和审批规则;执行器用幂等 key 运行,超时/重试返回可查询状态。
  4. 将不可信文档/网页当数据处理,隔离其指令,检索结果提供来源;敏感输入最小化、加密并限制保留。
  5. 评估用任务成功率、工具调用正确率、越权/提示注入测试、人工接管率、延迟与成本;灰度时先 shadow/只读,再逐步开放低风险写操作。
  6. 监控全链路 trace 与版本,出现权限违规、质量退化或依赖故障时关闭工具/回退人工流程。

手动走一遍

训练任务:员工请 Agent 汇总内部报告并创建工单。Agent 可检索授权文档并生成草稿;创建工单前策略层核租户与字段、让员工确认,执行后保存 ticketId。若工具超时,按同一幂等 key 查询,不重复创建。

规模与取舍

一次任务成本约模型调用数×token/推理成本 + 检索/工具调用;串行工具链延迟叠加,平行步骤受依赖关键路径限制。题目无目标规模,不能填固定 QPS。

易错点与追问

容易失分的边界

  • 把检索文本中的指令当系统指令。
  • 模型自行决定访问权限。
  • 高影响操作没有审批与幂等。
  • 只测回答流畅度,不测工具正确性和越权。
  • 缺任务状态,故障后无法恢复。

继续深挖

  • 多租户检索如何防数据串读?
  • prompt injection 如何测?
  • Agent 与固定 workflow 何时各适用?
  • 写操作重复执行如何处理?
✓已复制微信号!