Applied Scientist L5 · ML Breadth / Deep Dive

Amazon ML:一千万条数据,Logistic Regression、Boosting 或神经网络?

由特征形态、交互、校准和部署约束决定候选,样本数不能单独决定模型。

题目重点:由特征形态、交互、校准和部署约束决定候选,样本数不能单独决定模型。

题意与假设

这道练习题保留了面经中值得训练的核心约束,并将需要澄清的条件单独列出。现场拿到变体时,先和面试官确认这些条件。

  • 先问监督目标、特征维度/稀疏性、label质量、推理时延和训练预算;10M只描述N,不给出D或token/image规模。
  • 本文给决策与验证流程,不宣称某模型对未知原数据必胜。

解题路线

  1. LR适合作可解释线性/稀疏基线,优化和增量训练较直接;非线性与交互通常靠特征或更强模型。正则、缺失、类别编码与校准需定义,不把有10M数据当线性模型一定过弱。
  2. Boosting在表格非线性/缺失/阈值交互上是可测候选,树深/树数决定容量与推理路径。高维稀疏文本和大类别ID的表示需考虑,树并不自动懂语义或长序列。
  3. NN对文本/图像/序列与表示学习有结构优势,但数据清洗、batch/优化/正则、硬件与部署成本要配套。10M noisy rows与10M独立高质量样本提供的信息不同。
  4. 预设训练/推理/内存预算,在同划分先基线与小范围候选,用自然分布metric/切片比较,再逐步扩样。控制特征可用性,不能给NN更强预训练表示却把差异全归模型家族。
  5. 可解释性分全局系数、局部归因和可审计决策路径;LR有系数也可能因共线/编码难解读,树/NN归因也不等于因果。噪声鲁棒需注入/分层证据而不是标签式宣称。
  6. 选最终模型时记录质量收益、尾延迟、更新频率、冷启动和parity;蒸馏/缓存/分阶段架构可解部署约束,但先确认收益与限制。

手动走一遍

自拟10M×100 float32密集特征原始约4GB;10M×1M维稀疏one-hot不能按同样密集矩阵预算。两者N相同,表示/算法选择却不同。若输出概率用于阈值收费决策,还需检校准和可解释要求。

规模与取舍

LR每数据遍历约O(nnz),多epoch再乘;树训练取决于分裂策略/深度/树数,NN取决于架构与epoch。仅凭N不能给统一训练时间;10M×D数据/optimizer/索引内存需实际算。

易错点与追问

容易失分的边界

  • 样本数直接决定NN。
  • NN更多features却只归因模型。
  • 系数归因当因果。
  • 只比较平均延迟。
  • 忽略稀疏与密集存储差。

继续深挖

  • 同等算力怎样做公平对比?
  • 需要日更模型哪类路径更容易?
  • 概率calibration怎样评估?
  • 表格+文本混合怎样组装候选?
✓已复制微信号!