题目重点:由特征形态、交互、校准和部署约束决定候选,样本数不能单独决定模型。
题意与假设
这道练习题保留了面经中值得训练的核心约束,并将需要澄清的条件单独列出。现场拿到变体时,先和面试官确认这些条件。
- 先问监督目标、特征维度/稀疏性、label质量、推理时延和训练预算;10M只描述N,不给出D或token/image规模。
- 本文给决策与验证流程,不宣称某模型对未知原数据必胜。
解题路线
- LR适合作可解释线性/稀疏基线,优化和增量训练较直接;非线性与交互通常靠特征或更强模型。正则、缺失、类别编码与校准需定义,不把有10M数据当线性模型一定过弱。
- Boosting在表格非线性/缺失/阈值交互上是可测候选,树深/树数决定容量与推理路径。高维稀疏文本和大类别ID的表示需考虑,树并不自动懂语义或长序列。
- NN对文本/图像/序列与表示学习有结构优势,但数据清洗、batch/优化/正则、硬件与部署成本要配套。10M noisy rows与10M独立高质量样本提供的信息不同。
- 预设训练/推理/内存预算,在同划分先基线与小范围候选,用自然分布metric/切片比较,再逐步扩样。控制特征可用性,不能给NN更强预训练表示却把差异全归模型家族。
- 可解释性分全局系数、局部归因和可审计决策路径;LR有系数也可能因共线/编码难解读,树/NN归因也不等于因果。噪声鲁棒需注入/分层证据而不是标签式宣称。
- 选最终模型时记录质量收益、尾延迟、更新频率、冷启动和parity;蒸馏/缓存/分阶段架构可解部署约束,但先确认收益与限制。
手动走一遍
自拟10M×100 float32密集特征原始约4GB;10M×1M维稀疏one-hot不能按同样密集矩阵预算。两者N相同,表示/算法选择却不同。若输出概率用于阈值收费决策,还需检校准和可解释要求。
规模与取舍
LR每数据遍历约O(nnz),多epoch再乘;树训练取决于分裂策略/深度/树数,NN取决于架构与epoch。仅凭N不能给统一训练时间;10M×D数据/optimizer/索引内存需实际算。
易错点与追问
容易失分的边界
- 样本数直接决定NN。
- NN更多features却只归因模型。
- 系数归因当因果。
- 只比较平均延迟。
- 忽略稀疏与密集存储差。
继续深挖
- 同等算力怎样做公平对比?
- 需要日更模型哪类路径更容易?
- 概率calibration怎样评估?
- 表格+文本混合怎样组装候选?
