题目重点：拆检索证据、答案正确性和忠实性，比较文本重合、向量相似与人工rubric，避免把一个相似度当质量真值。
题意与假设
这道练习题保留了面经中值得训练的核心约束，并将需要澄清的条件单独列出。现场拿到变体时，先和面试官确认这些条件。
- 任务是有证据来源的问答，正确答案可能多种表述，reference不是唯一合法措辞。
- 专家标注包含rubric和可接受事实/证据，而不仅一段参考文本；题目没有公开样本。
- 评价工具/模型版本随时间变化，文章不依赖某一库默认配置；需记录实际运行版本与prompt。
解题路线
- 先拆检索是否找对证据、生成是否回答问题、是否有证据支持与是否覆盖关键事实。对召回层用gold文档/事实检查recall@K，生成层固定所见context，才能定位检索错误与生成错误。
- reference重合指标只是一类代理：BLEU以modified n-gram precision及brevity penalty组合，ROUGE-N可按reference n-gram recall；实现的分词、平滑、多reference与聚合方法需说明。高重合不保证事实正确，低重合也不证明错。
- 无标签的最简相似度可用向量cosine=dot(a,b)/(norm(a)norm(b))，先处理零向量。它衡量表征相似，不自动判断‘没付款’与‘已付款’这类关键语义反转，需用对抗小集核验。
- 专家预算优先标高影响任务、分歧和代表性切片，再保留随机样本估总体。双人独立标注与仲裁记录分歧，标签包括事实、来源支持、遗漏和不可回答条件；切分避免同问题变体泄漏。
- LLM裁判按rubric对单项评分，与人工gold校准并检验答案顺序/长度偏差。人工或裁判一致也不意味着真实ground truth不存在错误；结果报告样本量、置信范围和关键切片。
- 上线用用户任务完成/可靠性护栏检验离线改进，缓存、检索索引与文档时效版本一致；若离线高分线上差，查问题分布、context质量与用户容错，而非只换更大模型。
手动走一遍
训练例问账单是否支付，reference为‘未支付’。答案‘已经支付’可能与reference词语/embedding高度相近，却事实相反；另一答案‘仍有未结清款项’词面不同但正确。专家rubric指定付款状态与来源字段，才能区分这两个情况。
规模与取舍
向量相似O(d)，n-gram统计约O(文本token数)，模型裁判成本按token与重复次数。人工量按每例标注时间与分歧率估；系统评价需检索与生成两套数据，不用一个总体平均遮住失败来源。
易错点与追问
容易失分的边界
- BLEU/ROUGE或cosine高就宣称事实正确。
- 专家reference当唯一正确措辞。
- 模型裁判未校准或没有版本。
- 所有预算只标困难例，却把结果当总体率。
- 只评价能回答的问题，不测应拒答/缺证据。
继续深挖
- 没有可靠reference，如何先建立小gold集？
- 检索正确但答案漏事实，该改哪个环节？
- 标注者分歧很大怎么修rubric？
- 如何测试答案忠实却回答了错误的问题？
