MLE 面试别只讲模型：ML System Design 要怎么准备

💡 核心要点 (Key Takeaways)

• 先把项目讲成端到端系统，而不是模型论文复述。
• 每道 design 题都要覆盖数据闭环、训练链路、serving 和监控。
• 用 offline-online skew、latency、freshness、rollback 证明工程判断。

为什么只讲模型会失分

近期 MLE 面经里，面试官很少只停留在模型结构。广告排序、推荐、LLM inference、batch service、feature store 这些题都会追问数据从哪里来、多久更新、如何评估、线上出问题怎么发现。候选人如果只讲 loss、architecture 和 metric，很容易被判断为缺少工程落地经验。

一套稳定的回答骨架

先定义业务目标和成功指标，再讲数据与特征，然后讲模型训练和评估，接着讲 serving 架构，最后讲监控、回滚和迭代。每一段都要能回答 trade-off：为什么这样选，代价是什么，坏情况怎么处理。

• 业务目标：优化什么，不能牺牲什么。
• 数据链路：来源、延迟、质量、标签定义、隐私约束。
• 模型链路：baseline、训练、评估、实验、上线策略。
• 线上链路：latency、吞吐、缓存、降级、监控和回滚。

怎么练到可面试状态

不要只看答案。挑一个自己的项目，用同一套骨架重讲三遍：第一遍讲给工程师，第二遍讲给 ML 面试官，第三遍讲给 hiring manager。每次都记录被追问后卡住的点，然后补上数据、指标或系统约束。

常见追问和回答方向

ML System Design 的追问通常不在模型名称上，而在数据闭环和线上风险上。面试官会问：标签延迟怎么办，特征线上缺失怎么办，offline AUC 提升为什么不代表线上收益，模型延迟超预算怎么办，bad case 如何发现和回滚。准备时要把每个追问都接到具体机制。

• 标签延迟：用 proxy label、延迟窗口、回填训练样本和线上观察指标处理。
• 特征缺失：定义 fallback、default value、freshness alert 和特征降级策略。
• 线上收益：用 A/B test、guardrail、分层分析和 bad case review 验证。
• 延迟超预算：区分 precompute、cache、batch、distillation 和候选集缩小。

把项目改写成端到端故事

项目深挖时，不要从“我训练了一个模型”开始。更好的开场是：业务问题是什么，旧系统哪里不够，你负责哪段链路，数据和标签如何定义，为什么选择这个模型，如何上线，线上指标如何监控，失败后如何修复。这个顺序能让面试官先看到 owner 范围，再听模型细节。

练习题清单

建议至少准备四类题：推荐排序、广告点击率、内容安全、LLM inference。每类题都用同一张表复盘：目标指标、数据来源、标签定义、特征 freshness、训练频率、serving 延迟、监控指标和 rollback 条件。练到最后，你应该能在 20 分钟内讲完整主路径，并用 10 分钟处理追问。

45 分钟时间怎么分配

ML system design 一轮通常 45-60 分钟。建议分配：5 分钟澄清目标和约束（规模、延迟预算、数据可得性），10 分钟数据与特征，10 分钟模型训练与评估，10 分钟 serving 架构，10 分钟监控和回滚，留 5 分钟应对追问。时间不够时优先压缩模型细节（不展开具体网络结构），数据链路和监控不能省，这两段是面试官最常深挖的地方，也是区分「调过模型」和「上线过系统」的分界线。

• 前 5 分钟必须确认：目标指标、延迟预算、数据量级、线上特征是否已有。
• 模型部分：架构一句话带过，重点讲为什么这样选，不背结构细节。
• 取舍顺序：模型细节 > 评估细节 > serving > 监控，监控永远保留。
• 收尾时主动问面试官想深入哪段，把追问权交出去，控制节奏。

离线线上 gap 怎么讲

这是 MLE design 题被追问最多的点，也是前面「offline AUC 提升为什么不代表线上收益」那个追问的展开。回答分三层：先讲 gap 的来源（样本选择偏差、标签延迟、线上线下特征不一致、分布漂移），再讲怎么发现（在留存生产流量上做 backtest、shadow mode、带 guardrail 的小流量 A/B），最后讲怎么缩小（特征一致性校验、统一 feature store、模型校准、延迟标签修正）。只停在 AUC 提升这一层，会被判断为没有真正部署过模型。

• 选择偏差：训练样本来自旧策略的决策，新策略会面对训练集没覆盖的状态。
• Shadow mode：新模型并行运行但不服务用户，对比输出分布和线上模型的差异。
• 灰度：1% → 10% → 50% 逐步放量，每阶段盯 primary 和 guardrail 指标。
• 特征一致性：同一特征定义在离线和在线的值分布要校验，差异超阈值要报警。