MLE / Research · ML Domain / ML System Design

实时ML推荐:冷启动、迭代与延迟精度预算

把离线训练与实时特征、召回、排序、监控串成可回滚闭环。

题目重点:把离线训练与实时特征、召回、排序、监控串成可回滚闭环。

题意与假设

这道练习题保留了面经中值得训练的核心约束,并将需要澄清的条件单独列出。现场拿到变体时,先和面试官确认这些条件。

  • 训练目标采用用户有效消费,实际目标由产品确认;规模与特征清单未给。
  • 实时指短时行为能影响后续推荐,不代表每个事件立刻全量重训。

解题路线

  1. 事件流去重并更新短期profile,离线生成长期特征与模型。线上特征需时间版本/默认值,监控训练服务偏差。
  2. 新用户用声明偏好、上下文及有限探索;新内容用metadata表征。分召回/排序/重排,给每段延迟预算并有合法热门fallback。
  3. 离线按时间切分,online分阶段实验;护栏包括失败、尾延迟、多样性和弱群体表现。模型/特征同版本回滚,避免只回模型却保留新特征尺度。

手动走一遍

用户刚skip多首某类音乐,短期特征迅速调整排序;不需要为一个skip启动全量训练。若排序模型额外改善1%指标却让p99超SLA,考虑缩候选、蒸馏或只对高价值请求启用,实测收益再决定。

规模与取舍

峰值QPS×候选数×模型推理成本决定容量;训练/更新延迟决定新鲜度,分别监控。

易错点与追问

容易失分的边界

  • 曝光偏差让点击数据不等于真实偏好。
  • 线上特征缺失使用0可能不是训练默认值。

继续深挖

  • 怎样测探索给冷内容带来的真实收益?
  • 模型精度与延迟冲突时如何给产品明确选项?
✓已复制微信号!