题目重点：exact hash与语义相似不是一回事，误合并会损失不同内容。
题意与假设
这道练习题保留了面经中值得训练的核心约束，并将需要澄清的条件单独列出。现场拿到变体时，先和面试官确认这些条件。
- 训练检测压缩/裁剪/片段重用的近重复，不把所有语义类似内容当duplicate；实际阈值和业务处置规则需确认。
- 视频先抽帧/片段表示，候选只是可能重复，处置前需要更精确比较。
解题路线
- exact content hash先处理逐字节重复，感知hash/embedding ANN召回近似候选。图像验证比较局部特征/几何或感知差异，尺度/裁剪鲁棒性与误合并权衡。
- 视频抽关键帧及局部时间窗口，召回后找匹配片段/时间对齐，不能只平均全视频向量：短片段重用可能被平均淹没，两个不同视频也可能同主题很近。
- 标注正例覆盖压缩、裁剪、字幕/水印、加速与片段拼接，hard negatives含相似场景不同实体。按原视频/来源分split，不能同视频不同压缩版跨train/test。
- 阈值按用途选，高precision自动合并、较低阈值仅人工候选。保留原始asset与证据、模型/索引版本，不因重复判定立刻不可恢复删除。
- 离线上传建索引与在线check分离，idempotent asset/version事件防重复建向量。模型更新双索引/回滚，不混旧新embedding空间；流量峰值队列与检测delay需观测。
手动走一遍
电影同一场景裁剪后只占新视频5秒，全片平均embedding可能漏，需要片段候选。两张不同人的类似构图图片可能语义相似却不是重复，不能自动合并。
规模与取舍
图像O(embedding cost)+ANN候选验证，视频成本随抽样帧/片段数增长，pairwise全库O(N²)不可扩。存储向量量=视频数×每视频片段数×dimension。
易错点与追问
容易失分的边界
- 相似度高就当同一内容。
- 删原内容后无法回滚错误去重。
继续深挖
- 怎样在漏检短片段与抽帧算力间取舍？
- 跨语言字幕/水印变化对阈值和验证如何影响？
