MLE / BRIC · System Design

TikTok MLE:Fake Account Detection 的标签、图特征与处置闭环

先定义假账号和干预时机,再拆标签延迟、行为图、在线特征、成本阈值与误杀评估。

题目重点:先定义假账号和干预时机,再拆标签延迟、行为图、在线特征、成本阈值与误杀评估。

题意与假设

这道练习题保留了面经中值得训练的核心约束,并将需要澄清的条件单独列出。现场拿到变体时,先和面试官确认这些条件。

  • 训练目标是假设的批量自动化滥用账号,任务为在创建及后续行为时估计风险;不把“新账号”或“同设备账号”直接定义成fake。
  • 处置分放行、额外验证、限功能、人工复核;具体业务政策与申诉流程需确认。
  • 标签来自可信调查/申诉结果/验证信号,实际数据与规模未给;示例数字仅说明阈值取舍。

解题路线

  1. 把预测时点t和可用信息冻结:注册时模型不能读取未来30天行为,持续检测可以读取截至t的事件。标签确认晚于行为时,要单列成熟窗口和未定label,避免负样本里全是未来被查出的账号。
  2. 特征分账号属性、短窗频率、行为序列与账号/设备/IP/内容图。共享网络是弱信号,家庭与公共WiFi也可能形成密集图;需要多个信号组合,不能一个IP命中就连坐所有节点。
  3. 先建可解释规则/树模型基线,检查PR曲线、分地区/新用户误杀,再引入序列或图模型。图训练应以时间边界切断未来边,train/test不能让同一滥用集群跨边泄漏。
  4. 服务拆流式特征更新、低延迟risk API、策略引擎、人工复核与feedback。特征注明event-time与freshness,晚到事件重放需event ID去重;离线训练按线上可获得特征回放,不用全量最终图冒充实时。
  5. 阈值取决误放/误杀成本与处置级别。若风险p=0.02,直接封禁的正常用户损失很高,额外验证可能更合理;模型score排序好不意味着任意阈值都适合永久封禁。
  6. 评估要按时间和集群分割,报告Precision@复核容量、Recall、误杀率、延迟与申诉翻转;类别极不平衡时accuracy几乎无用。未复核者缺标签,不能只用被模型选中的人评测而忽略选择偏差。
  7. 上线先shadow估计负载,再小流量对照,保留策略回滚与特征版本。对手会变换行为,监测漂移/标签成熟后的漏放与地域偏差;识别出高风险不自动证明处置成功,需量化滥用减少与正常用户体验。

手动走一遍

假设百万账号中1000个为目标滥用,全部放行的accuracy仍99.9%。每天人工能复核500个时应看Top500命中与遗漏,而非只报AUC。若共享设备群体误杀明显,先检查图特征与标签偏差,再调整策略,不直接把该群体阈值提高称为解决。

规模与取舍

事件特征按窗口/键数量增长,图存储O(V+E),在线模型成本依树数或层数;在线全图遍历通常不适合每请求低延迟,应预计算或限邻域。复核吞吐和标签延迟是独立资源约束。

易错点与追问

容易失分的边界

  • 新用户当负面标签。
  • 随机切分泄漏同集群及未来图。
  • accuracy掩盖稀有正类。
  • 只评估被模型拦截的样本。
  • 模型判断与封禁政策不分。

继续深挖

  • 没有可靠负标签时怎样学习?
  • 图模型如何处理新节点?
  • 误杀申诉怎样回流且防标签污染?
  • 特征系统宕机时风险API怎样降级?
✓已复制微信号!