MLE / SWE · ML / AI System Design

Meta 智能眼镜相册问答:自然语言检索与两分钟回忆视频

从个人照片/视频中按自然语言寻找片段,生成两分钟回忆视频,解释检索、时间线和隐私。

题目重点:从个人照片/视频中按自然语言寻找片段,生成两分钟回忆视频,解释检索、时间线和隐私。

题意与假设

这道练习题保留了面经中值得训练的核心约束,并将需要澄清的条件单独列出。现场拿到变体时,先和面试官确认这些条件。

  • 训练是在用户授权的个人媒体库里检索和剪辑,不自动搜索其他人的私密相册。任务可能是“去年和家人在海边”,需时间、内容与实体联合。
  • 结果视频目标时长120秒,镜头选择/节奏/音乐权限按给定要求;没有证据的地点人物不得生成事实字幕。
  • 视频RAG检索单位为有时间戳的片段,照片是静态单位;可取关键帧和音频转写,但转写是有误差证据。

解题路线

  1. 入库记录mediaId、owner、captureTime可信度、GPS授权状态、原始对象版本。提取图像/视频/文本embedding、可核元数据与关键帧;批处理成本按总分钟数,新增媒体增量索引。
  2. query解析只提取约束,不凭自然语言补造年份/人物身份。先以权限+时间/地点metadata过滤,再embedding召回,对候选进行跨模态精排,保留具体media/timestamp作为证据。
  3. 检索结果按去重、时间连续、人物/场景覆盖与质量选镜头;同一段视频的十个近似帧不应占满TopK。两分钟预算是knapsack/约束选段问题,优先可解释启发式或DP小规模基准,不称只靠LLM直接拼。
  4. 生成阶段做转场、裁剪、字幕与音量控制,字幕引用可证实信息;低确信时间/地点标unknown或让用户确认。预览可删镜头与改顺序,最终导出才形成新媒体对象。
  5. 视频RAG问答输出引用可跳转时间戳,事实来自片段证据;禁止把模型泛知识当个人记忆。删除媒体需撤索引与派生结果授权,缓存按owner/mediaVersion/modelVersion隔离。

手动走一遍

“去年六月和妈妈在海边”可先筛可信拍摄时间,再图文匹配海边;如果人物未授权标注,不能凭外观确定“妈妈”。十个12秒镜头可填120秒,但转场时长需要计入,不能输出超预算还说满足两分钟。

规模与取舍

媒体预处理成本按图数/视频时长,检索ANN与精排按候选规模;长视频逐帧代价高,关键帧/片段多尺度折中。视频渲染I/O与编码可异步job,status/取消/失败恢复要独立。

易错点与追问

容易失分的边界

  • 相似embedding不保证正确日期人物,元数据置信与检索证据需要分开。
  • 同一视频切很多相邻帧当独立结果会使画面重复。
  • 删除私密素材但已生成视频仍可被未授权访问,是派生媒体权限遗漏。

继续深挖

  • 眼镜设备带宽与电量有限,哪些特征在设备端算、哪些异步云端?按隐私、CPU与上传成本选择。
  • 若没有满足query的片段,返回找不到并建议放宽约束,不生成假回忆。
✓已复制微信号!