题目重点：先诊断失败类别，再选择更新数据、检索或模型训练。
题意与假设
这道练习题保留了面经中值得训练的核心约束，并将需要澄清的条件单独列出。现场拿到变体时，先和面试官确认这些条件。
- 题目只给“改善未知问题”，训练把不知道分为缺知识、取不到证据、推理失败和问题含糊；不能认定只有一个正确技术方案。
- 模型版本/外部知识源未指定，不引入未经确认的实际产品内部流程。未知问题不应默认要求强行回答。
解题路线
- 建立用户query样本和人工错误分类，标记理想答案、时间敏感性、证据是否存在、权限以及用户真实意图。模型拒答可能正确，不能用回答率替代质量。
- 若知识在可用文档中，先优化retrieval/时效与citation；若没有可靠证据，澄清或拒答并提供可执行下一步。训练数据覆盖不足且证据稳定时才考虑微调，不把每次新事实都烤进权重。
- 推理失败用可验证任务分解/工具，确保工具授权和结果校验；含糊query先问最关键澄清。每条路径都设延迟/成本预算，multi-hop不能无上限反复调用。
- 以代表性held-out未知问题及known问题做评估，检查unknown质量提升是否损伤已知答案或增加编造。offline分层准确、拒答precision/recall和用户完成任务结合，LLM judge需人工校验。
- 收集修正进入受控数据flywheel，去重、来源、版本和用途管理；同一错误用户反复提问不能当多个独立样本。灰度看错误回答和真实任务结果，不只看点赞。
手动走一遍
政策昨天更新，模型旧答案错：新文档检索可能比重新训练快；如果员工无权限访问则不能因“改善答案”越权。用户只问“哪个最好”，先澄清场景/目标，比在没有定义时生成确定推荐更可靠。
规模与取舍
容量按query率×各路径工具/模型调用倍数估计；训练/索引更新离线成本分开。评估按失败类别和时间切片，未给实际样本就给测量计划而不捏造提升比例。
易错点与追问
容易失分的边界
- 全部未知问题用微调解决，忽略时效与权限。
- 提高回答率却让拒答正确样本变成错误肯定回答。
- 知识可检索就保证模型忠实引用，忽略生成阶段错误。
继续深挖
- 怎样识别模型“自信但错”的未知问题并进行采样？
- 检索结果冲突或不可验证时，答案与澄清/拒答怎样取舍？
