MLE / ML Systems · ML System Design

有害视频审核:多模态证据、分级处置与人工复核

分类置信度和处置策略分开,误报与漏报需按类别评估。

题目重点:分类置信度和处置策略分开,误报与漏报需按类别评估。

题意与假设

这道练习题保留了面经中值得训练的核心约束,并将需要澄清的条件单独列出。现场拿到变体时,先和面试官确认这些条件。

  • 训练按已定义内容政策taxonomy审核视频,政策与实际数据未给,不创造统一“有害”定义。
  • 视频有图像、音频、文字与时间上下文,自动决定与人工复核边界必须明确。

解题路线

  1. ingestion抽帧、ASR、OCR和metadata,统一时间轴,快速规则/轻模型初筛,复杂/不确定样本交重模型或人工。抽样帧可能漏短暂片段,按风险类别提高采样或片段定位。
  2. 训练标签带类别/严重度/时间区间/审核版本,多个审核者分歧复核。hard negatives包括新闻/教育引用等上下文,不能只检测某词就认定违规。
  3. 策略按置信与影响分tier:明确严重问题受限自动处置、不确定排人工、低风险正常发布或抽审。所有决定保留证据/version与申诉/纠错路径,模型分数不替代完整政策判断。
  4. 评估每类precision/recall、人工负载、审核时延和群体/语言切片,标签稀少需谨慎置信。总体accuracy在少数有害比例下容易虚高,不能用作唯一成功指标。
  5. 反馈数据避免只收已处置样本造成selection bias,随机抽审和申诉核证补盲点。model/policy双版本灰度,变更后回查历史需有可追溯任务与资源预算。

手动走一遍

同一词在谴责/教育视频与鼓励行为视频不同,需前后文和多模态证据。阈值降低提高recall但人工队列超过容量,策略需同时约束pending age与错误成本。

规模与取舍

上传率×视频时长×抽帧/ASR模型成本决定吞吐;审核queue需要分类优先级与人工容量。近重复可共享已核证据但要确认版本/上下文不变。

易错点与追问

容易失分的边界

  • 罕见有害类总体accuracy很高就宣布有效。
  • 模型误报直接永久删除且无复核。

继续深挖

  • 审核规则变化如何迁移标签和重评模型?
  • 如何检测新型规避而不把模型预测全部当训练真值?
✓已复制微信号!