题目重点:从个人照片/视频中按自然语言寻找片段,生成两分钟回忆视频,解释检索、时间线和隐私。
题意与假设
这道练习题保留了面经中值得训练的核心约束,并将需要澄清的条件单独列出。现场拿到变体时,先和面试官确认这些条件。
- 训练是在用户授权的个人媒体库里检索和剪辑,不自动搜索其他人的私密相册。任务可能是“去年和家人在海边”,需时间、内容与实体联合。
- 结果视频目标时长120秒,镜头选择/节奏/音乐权限按给定要求;没有证据的地点人物不得生成事实字幕。
- 视频RAG检索单位为有时间戳的片段,照片是静态单位;可取关键帧和音频转写,但转写是有误差证据。
解题路线
- 入库记录mediaId、owner、captureTime可信度、GPS授权状态、原始对象版本。提取图像/视频/文本embedding、可核元数据与关键帧;批处理成本按总分钟数,新增媒体增量索引。
- query解析只提取约束,不凭自然语言补造年份/人物身份。先以权限+时间/地点metadata过滤,再embedding召回,对候选进行跨模态精排,保留具体media/timestamp作为证据。
- 检索结果按去重、时间连续、人物/场景覆盖与质量选镜头;同一段视频的十个近似帧不应占满TopK。两分钟预算是knapsack/约束选段问题,优先可解释启发式或DP小规模基准,不称只靠LLM直接拼。
- 生成阶段做转场、裁剪、字幕与音量控制,字幕引用可证实信息;低确信时间/地点标unknown或让用户确认。预览可删镜头与改顺序,最终导出才形成新媒体对象。
- 视频RAG问答输出引用可跳转时间戳,事实来自片段证据;禁止把模型泛知识当个人记忆。删除媒体需撤索引与派生结果授权,缓存按owner/mediaVersion/modelVersion隔离。
手动走一遍
“去年六月和妈妈在海边”可先筛可信拍摄时间,再图文匹配海边;如果人物未授权标注,不能凭外观确定“妈妈”。十个12秒镜头可填120秒,但转场时长需要计入,不能输出超预算还说满足两分钟。
规模与取舍
媒体预处理成本按图数/视频时长,检索ANN与精排按候选规模;长视频逐帧代价高,关键帧/片段多尺度折中。视频渲染I/O与编码可异步job,status/取消/失败恢复要独立。
易错点与追问
容易失分的边界
- 相似embedding不保证正确日期人物,元数据置信与检索证据需要分开。
- 同一视频切很多相邻帧当独立结果会使画面重复。
- 删除私密素材但已生成视频仍可被未授权访问,是派生媒体权限遗漏。
继续深挖
- 眼镜设备带宽与电量有限,哪些特征在设备端算、哪些异步云端?按隐私、CPU与上传成本选择。
- 若没有满足query的片段,返回找不到并建议放宽约束,不生成假回忆。
