Data Engineer / Data Scientist · DE / Product Sense

Meta 预测下月流失:时间切分、标签与可行动性

定义流失标签并构建无未来泄漏的预测模型,把离线效果与干预收益分开。

题目重点:定义流失标签并构建无未来泄漏的预测模型,把离线效果与干预收益分开。

题意与假设

这道练习题保留了面经中值得训练的核心约束,并将需要澄清的条件单独列出。现场拿到变体时,先和面试官确认这些条件。

  • 训练在月末T预测下个月是否无有效活跃,实际流失标准、可观察窗口和预测对象需先定;新用户与长期不活跃用户可能需要不同cohort。

解题路线

  1. 标签在T之后完整观察窗生成,特征只用≤T数据:最近/频次、互动深度、关注关系、体验错误等。不要用下月登录、下月投诉或未来聚合列当特征。
  2. 先建立逻辑回归baseline,按时间训练/验证/测试检验真实未来分布,再比较树模型;用户跨时间重复与地域版本变化需要防泄漏/分层。
  3. 类不平衡看PR-AUC、校准与top-budget precision/recall,不只accuracy。不同成本阈值以干预容量和收益定,分群评估避免多数群体掩盖问题。
  4. 预测风险高不等于可挽回收益高。干预对象、通知成本/体验与提升需随机试验,必要时uplift估计;最高风险用户可能早已无法挽回。
  5. 线上记录feature/version/prediction与数据新鲜度,监测漂移/校准、标签延迟和反馈回路。隐私最小字段,不拿敏感属性随意做个体惩罚。

手动走一遍

T=9月30日,10月是否active生成标签;9月最后7/30日活跃可用,10月的“最后登录时间”泄漏。A用户预测90%流失但不会被优惠改变,B60%但有可修复问题,干预优先未必A。

规模与取舍

特征计算按用户历史窗口,训练复杂度依模型/行列数;标签成熟至少等一个月。预算B人的干预看topB可行动效果与净收益,离线AUC提升不自动转为留存改善。

易错点与追问

容易失分的边界

  • 随机行切分让同用户未来数据进训练,离线效果虚高。
  • 准确率高可能只是全部预测不流失,无法支持决策。

继续深挖

  • 如何应对训练后的干预改变标签分布?保留随机对照估真实收益。
  • 流失定义从无登录改无有价值互动时,特征和行动目标如何调整?
✓已复制微信号!