MLE / Research · ML Domain / ML System Design

视频近重复:候选检索、时间对齐和申诉

区分同文件、转码重复与内容近似,不只比较单个embedding。

题目重点:区分同文件、转码重复与内容近似,不只比较单个embedding。

题意与假设

这道练习题保留了面经中值得训练的核心约束,并将需要澄清的条件单独列出。现场拿到变体时,先和面试官确认这些条件。

  • 训练合同覆盖剪辑、转码、裁剪导致的近重复;业务相似定义/阈值必须由标注验证。
  • 是否版权违规不是仅靠相似度可推出的事实,系统先提供候选与证据。

解题路线

  1. file hash只处理精确重复,感知指纹/片段embedding召回近似候选;分段匹配与时间对齐核对覆盖比例,减少相似场景误报。
  2. 向量量化/近似索引控制成本,需测recall而非默认无损。多modal可结合画面/音频,缺音轨和背景复用分层验证。
  3. 自动处置阈值按误报/漏报代价与人审容量,保留匹配片段、模型版本与申诉入口。更新索引/删除请求及时传播,不能只留一个永久相似标签。

手动走一遍

同一视频降码率后hash全变,片段指纹仍可能匹配;不同体育比赛共享解说音频不能单凭音频判整视频重复。假设每视频100片段、每天百万视频即亿向量/日,需先降采样/聚合并定保留期,不能把全量两两比较当可扩展方案。

规模与取舍

精确两两匹配O(N²),近似候选把精排降到每视频C候选但recall有损需实测;存储按片段数×向量位数估算。

易错点与追问

容易失分的边界

  • cosine高不保证时间片段对应或业务重复。
  • 近似索引召回漏检不会被后续精排修复。

继续深挖

  • 短片段复制、加边框或调速分别怎样影响特征?
  • 怎样把人工申诉结果纳入训练,又避免只学被处置样本?
✓已复制微信号!