题目重点：从摄入、切片、跨模态召回到证据定位设计系统，区分通用 RAG 评估题。
题意与假设
这道练习题保留了面经中值得训练的核心约束，并将需要澄清的条件单独列出。现场拿到变体时，先和面试官确认这些条件。
- 训练方案考虑文本、图像、音频/视频；真实面试需先问到底支持哪几种模态，不能把这些当原题指定。
- 目标是用户问答并能回溯证据位置，而非仅做相似图片搜索；语料有权限与版本。
解题路线
- 摄入层将不同模态保留原文件/片段和元数据：文本保留段落，图片附 OCR/区域或描述，音频经转写并留时间戳，视频抽帧或场景切片并关联时间段。每个片段有 document ID、modality、offset、版本和权限。
- 索引层可为文本、图片和音频分别建检索通道，结合关键词、向量与元数据过滤；查询先判断信息需求，再并行召回并在统一候选层重排。若跨模态嵌入不在同一空间，不能直接比较原始相似度。
- 生成层把片段文本与必要的图像/时间证据送给支持的模型，回答逐条引用原文件位置；证据不足或 OCR/ASR 低置信时要求澄清或降低断言。
- 更新与安全：文件变更按版本重建受影响片段，权限过滤应在检索/重排前后都核，删除请求须清理索引和缓存。
- 评估分层：按模态及跨模态问题分别测召回、证据定位、答案支持、误拒、延迟与成本；与纯文本 RAG 基线比较，避免总体平均掩盖某个模态失败。
手动走一遍
用户问‘这段会议视频第几分钟展示了某产品型号的包装？’：ASR 可能没有型号，视频帧 OCR/图像检索召回 12:30 附近片段；答案引用视频 ID 与 12:25–12:40 时间段。若只保存整段视频 embedding，就无法提供精确证据位置。
规模与取舍
索引规模约与文本片段数、图片/帧数和音频切片数之和相关；多通道召回与重排成本随各模态候选数增长。具体容量/延迟必须依据原文件时长、帧采样率、查询 QPS 实测，题目未明确数值。
易错点与追问
容易失分的边界
- 把所有模态简单转成一段描述，丢掉时间码、图像区域和引用定位。
- 假设不同模型的相似度分数天然可比。
- 先召回再做权限过滤导致无权片段影响排序或进入生成上下文。
- 只测试文本问题，却宣传多模态检索质量。
- 把前一篇幻觉评估方法当作完整多模态摄入架构。
继续深挖
- 用户上传图像去搜视频片段时如何做跨模态表示？
- OCR 与 ASR 错误会如何进入检索和答案？
- 如何给百万小时视频控制抽帧和索引成本？
- 源文件删除后怎样证明引用缓存和向量索引都已失效？
