题目重点：MLE Set B 独立问 model monitoring；区分 API 健康、特征/预测漂移和真实质量，并给报警后动作。
题意与假设
这道练习题保留了面经中值得训练的核心约束，并将需要澄清的条件单独列出。现场拿到变体时，先和面试官确认这些条件。
- 训练版为在线二分类模型；真实标签可能延迟且有选择偏差，不能实时拿完整 ground truth。
- 监控以固定 modelVersion、特征版本和分群维度聚合，不混新旧模型或不同人群。
- 报警需有明确响应动作、owner 和回滚/调查阈值，不能只做仪表盘。
解题路线
- 服务健康先看请求量、错误/超时、p50/p95/p99、队列、依赖可用性和单位推理成本。
- 数据健康看 schema 缺失、异常值、类别 OOV、特征新鲜度与训练/在线分布差异；预测健康看分数分布、阈值通过率和不同用户切片。
- 标签到来后对齐 requestId 与当时模型/特征版本，算 Recall、Precision、误拒/漏检和校准；无标签期用代理指标但标明不能代替质量。
- 为漂移设基线、样本量与显著性/持续时间门槛，减少正常季节波动误报；报警触发 trace 排查、数据源修复、阈值调整或模型回滚。
- 用 shadow 或离线重放比较旧/新模型差异，审计每次模型/阈值改动和业务结果；遇高风险切片恶化时不等全局指标明显下降才行动。
手动走一遍
训练例：服务 p99 正常，但某特征的空值率从 2% 升到 30%，预测通过率下降；应先查上游特征采集与 OOV，再等延迟标签确认实际质量，不把服务健康误判为模型健康。数字仅示意。
规模与取舍
事件量约请求 QPS×保留期；按版本/切片聚合的维度基数影响存储与查询成本。标签延迟越长，质量报警越晚，需要更谨慎的代理护栏。题目无规模。
易错点与追问
容易失分的边界
- 只监控 CPU 与 HTTP 状态，不监控输入/预测分布。
- 把无标签的预测率变化直接称模型准确率下降。
- 新旧模型混在同一图表，掩盖版本差异。
- 报警没有阈值、负责人或动作。
- 总体指标稳定时忽略某风险人群切片劣化。
继续深挖
- 真实标签两周后才到怎么办？
- 概念漂移和数据管线坏了如何区分？
- 怎样减少高维特征漂移报警噪声？
- 模型与阈值谁负责回滚？
