题目重点:分类置信度和处置策略分开,误报与漏报需按类别评估。
题意与假设
这道练习题保留了面经中值得训练的核心约束,并将需要澄清的条件单独列出。现场拿到变体时,先和面试官确认这些条件。
- 训练按已定义内容政策taxonomy审核视频,政策与实际数据未给,不创造统一“有害”定义。
- 视频有图像、音频、文字与时间上下文,自动决定与人工复核边界必须明确。
解题路线
- ingestion抽帧、ASR、OCR和metadata,统一时间轴,快速规则/轻模型初筛,复杂/不确定样本交重模型或人工。抽样帧可能漏短暂片段,按风险类别提高采样或片段定位。
- 训练标签带类别/严重度/时间区间/审核版本,多个审核者分歧复核。hard negatives包括新闻/教育引用等上下文,不能只检测某词就认定违规。
- 策略按置信与影响分tier:明确严重问题受限自动处置、不确定排人工、低风险正常发布或抽审。所有决定保留证据/version与申诉/纠错路径,模型分数不替代完整政策判断。
- 评估每类precision/recall、人工负载、审核时延和群体/语言切片,标签稀少需谨慎置信。总体accuracy在少数有害比例下容易虚高,不能用作唯一成功指标。
- 反馈数据避免只收已处置样本造成selection bias,随机抽审和申诉核证补盲点。model/policy双版本灰度,变更后回查历史需有可追溯任务与资源预算。
手动走一遍
同一词在谴责/教育视频与鼓励行为视频不同,需前后文和多模态证据。阈值降低提高recall但人工队列超过容量,策略需同时约束pending age与错误成本。
规模与取舍
上传率×视频时长×抽帧/ASR模型成本决定吞吐;审核queue需要分类优先级与人工容量。近重复可共享已核证据但要确认版本/上下文不变。
易错点与追问
容易失分的边界
- 罕见有害类总体accuracy很高就宣布有效。
- 模型误报直接永久删除且无复核。
继续深挖
- 审核规则变化如何迁移标签和重评模型?
- 如何检测新型规避而不把模型预测全部当训练真值?
