题目重点:Senior MLE 面经明确有 detect unsafe content 设计题;本文给出风险分类、同步/异步审核、误杀漏放和申诉闭环。
题意与假设
这道练习题保留了面经中值得训练的核心约束,并将需要澄清的条件单独列出。现场拿到变体时,先和面试官确认这些条件。
- 训练版 Pin 可包含图像、文字及外链;政策分类需由平台规则团队提供,不在文章中虚构具体禁令。
- 高风险内容在审核完成前限制分发,低风险可按阈值进入抽样复核;是否必须同步阻断由产品和政策决定。
解题路线
- 先把任务拆为政策类别、严重度和处置动作:允许、降权、等待复核、阻断;明确每类漏放和误杀的代价及申诉路径。
- 上传路径先做格式/外链/重复内容检查和轻量模型,低置信样本送异步多模态模型及人工队列;feed 读取前再次核对最新审核状态和权限。
- 训练数据来自有审核权限的人工标注、已确认违规和申诉纠错结果;按时间与创作者划分评测集,防止相似图片泄漏。
- 评估分政策的 precision/recall、严重违规漏放率、正常内容误杀率、审核延迟和人工工作量;阈值按风险级别调,不能只看总体 AUC。
- 上线灰度并监控分布漂移、规避性改图/改字、不同语言或群体的误差;保留版本化决策理由和人工撤销。
手动走一遍
一张图片文字正常但外链指向高风险站点:图像模型低风险不代表整体安全;外链检查提高风险并送复核。另一张合法教育图片被误拦截,申诉确认后要修复该案、分析同类误杀并加入回归评测。
规模与取舍
每个上传事件至少一次轻量检查,重模型与人工只处理分流比例 p;若上传 Q 件/秒,重模型需求约 pQ,但还需考虑重复审核、历史存量扫描和 feed 读时检查。题目无规模,容量仅能按实测 Q 与服务时间估算。
易错点与追问
容易失分的边界
- 把安全当成单一二分类分数,不定义不同政策和动作。
- 只在上传时审核,后续外链或政策状态变化仍在 feed 中传播。
- 只优化总体准确率,严重类别漏放被大量正常样本掩盖。
- 没有人工复核、申诉和误杀纠正。
继续深挖
- 误杀率下降但高危漏放升高时,如何选择阈值?
- 新型规避内容没有标签,如何发现和建立评测集?
- 安全状态更新后如何让缓存、搜索和 feed 同时失效?
