题目重点：设计图像、视频和文本的共同表征，区分生成训练与可检索向量目标。
题意与假设
这道练习题保留了面经中值得训练的核心约束，并将需要澄清的条件单独列出。现场拿到变体时，先和面试官确认这些条件。
- 要求multimodal LLM生成embedding，但pooling/目标/模态未明确；训练先选择图文或视频文本检索合同。
解题路线
- 定义检索单位：视频全局、片段或图片，文本是query/caption，正例关系如何标注。处理一对多等价正例，避免把正确相关样本当负例。
- 可用模态encoder加投影归一化，或用LLM hidden states配pooling/projection。生成loss不自动保证余弦距离适合检索，需额外对齐目标和评价。
- 对比学习按相似度/温度训练，batch内负例节约成本但有false negative；hard negatives需人工审计与混合采样，防模型只学简单风格捷径。
- 数据按视频实体、时间和来源划分，训练/测试不共享近重复。评估Recall@K、分语种/类别表现、ANN损失与延迟，必要时加reranker。
- 服务固定embedding版本、索引版本与query encoder相配，新旧空间不能直接混用；离线重编码和灰度检索分开控制。
手动走一遍
视频包含鞋类产品，文字“跑步鞋”应靠近相关片段，而不是因为都带热门背景音乐就近。同商品多个镜头是等价正例，不能在batch内不加处理地互相排斥。
规模与取舍
batch B的全相似矩阵O(B²d)，向量库N条d维原始存储约N·d·字节；ANN还有索引开销，质量与内存/延迟权衡。
易错点与追问
容易失分的边界
- 生成caption好就必然embedding好。
- 近重复跨split。
- 混用encoder与index版本。
继续深挖
- 融合多模态缺失输入如何处理？
- embedding空间升级如何迁移索引？
