Senior MLE · VO ML Design 1

Pinterest 不安全内容检测:上传、分发与人工复核

Senior MLE 面经明确有 detect unsafe content 设计题;本文给出风险分类、同步/异步审核、误杀漏放和申诉闭环。

题目重点:Senior MLE 面经明确有 detect unsafe content 设计题;本文给出风险分类、同步/异步审核、误杀漏放和申诉闭环。

题意与假设

这道练习题保留了面经中值得训练的核心约束,并将需要澄清的条件单独列出。现场拿到变体时,先和面试官确认这些条件。

  • 训练版 Pin 可包含图像、文字及外链;政策分类需由平台规则团队提供,不在文章中虚构具体禁令。
  • 高风险内容在审核完成前限制分发,低风险可按阈值进入抽样复核;是否必须同步阻断由产品和政策决定。

解题路线

  1. 先把任务拆为政策类别、严重度和处置动作:允许、降权、等待复核、阻断;明确每类漏放和误杀的代价及申诉路径。
  2. 上传路径先做格式/外链/重复内容检查和轻量模型,低置信样本送异步多模态模型及人工队列;feed 读取前再次核对最新审核状态和权限。
  3. 训练数据来自有审核权限的人工标注、已确认违规和申诉纠错结果;按时间与创作者划分评测集,防止相似图片泄漏。
  4. 评估分政策的 precision/recall、严重违规漏放率、正常内容误杀率、审核延迟和人工工作量;阈值按风险级别调,不能只看总体 AUC。
  5. 上线灰度并监控分布漂移、规避性改图/改字、不同语言或群体的误差;保留版本化决策理由和人工撤销。

手动走一遍

一张图片文字正常但外链指向高风险站点:图像模型低风险不代表整体安全;外链检查提高风险并送复核。另一张合法教育图片被误拦截,申诉确认后要修复该案、分析同类误杀并加入回归评测。

规模与取舍

每个上传事件至少一次轻量检查,重模型与人工只处理分流比例 p;若上传 Q 件/秒,重模型需求约 pQ,但还需考虑重复审核、历史存量扫描和 feed 读时检查。题目无规模,容量仅能按实测 Q 与服务时间估算。

易错点与追问

容易失分的边界

  • 把安全当成单一二分类分数,不定义不同政策和动作。
  • 只在上传时审核,后续外链或政策状态变化仍在 feed 中传播。
  • 只优化总体准确率,严重类别漏放被大量正常样本掩盖。
  • 没有人工复核、申诉和误杀纠正。

继续深挖

  • 误杀率下降但高危漏放升高时,如何选择阈值?
  • 新型规避内容没有标签,如何发现和建立评测集?
  • 安全状态更新后如何让缓存、搜索和 feed 同时失效?
✓已复制微信号!