Amazon AS：Scaling Laws，固定算力该增参数还是增数据？

题意与假设

这道练习题保留了面经中值得训练的核心约束，并将需要澄清的条件单独列出。现场拿到变体时，先和面试官确认这些条件。

• 题目HM明确问scaling law是什么；没有给拟合曲线、模型族或预算，因此以下N/D/C与系数都是教学假设。
• N为可比较dense模型参数数、D为训练token数，C约6ND只作常见粗估；attention、embedding、重计算和硬件利用率等实际成本还需补。
• loss在固定tokenizer/语料分布/评估协议下比较；改变tokenizer后每token交叉熵不能直接作为同尺度结果。

解题路线

1. 先解释经验关系：在可比较训练条件与观测范围内，验证损失随参数、数据、算力变化可拟合为幂律，不是证明模型必有某种能力。一个教学形式L=E+A/N^α+B/D^β，E是拟合下限，A/B/指数由实验估计而非宇宙常数。
2. 固定C给ND=C/6。代入D=C/(6N)，对logN求导，最优条件αA/N^α=βB/D^β。这说明增大模型会减少能训练的token，必须平衡两侧边际损失；“更大模型一定更好”遗漏了数据不足的代价。
3. 设计小规模实验须覆盖多N、多D以及足够优化预算，固定数据处理和训练协议，保留范围外holdout点检验外推。训练没收敛、学习率没调好或重复数据占比不同，会把优化失败拟合成规模效应。
4. 重复token和新的独立信息不等价；质量、去重、任务相关性和污染改变曲线。不能先按低质量数据拟合，再无验证地套高质量多语言数据；也不能用受污染benchmark曲线证明泛化能力。
5. 训练最优与服务总成本最优不同：若以后每月生成大量token，较小模型配更多训练数据可能满足同质量且更便宜。把推理量、上下文长度、KV、延迟与硬件预算加入目标，给出一组Pareto候选再做测量。
6. 历史参考分别为Scaling Laws：https://arxiv.org/abs/2001.08361 与compute-optimal研究：https://arxiv.org/abs/2203.15556。它们在各自实验设置讨论不同配置分配，不把某个固定token/参数比例讲成所有任务的最优法则。

手动走一遍

教学取α=β=1、A=B=1、ND=100。N=10,D=10时L−E=0.2；N=20,D=5时为0.25；N=5,D=20也为0.25。同算力最平衡方案在这组人工系数下更好，不是实测LLM结果。如果α、β、A、B改变，10/10不再必然最优；还要检实际硬件可训练性。

规模与取舍

dense粗估C≈6ND FLOPs；拟合实验预算是所有训练运行成本总和，不能只算最终一次。部署成本同时有每token计算、权重/KV显存、通信、并发和利用率，6ND不能代替吞吐实测。

易错点与追问

容易失分的边界

• 固定预算只增N却不减D。
• tokenizer不同直接比per-token loss。
• 经验曲线当理论保证。
• 训练损失降低直接等同所有下游能力。
• 忽略推理使用量。

继续深挖

• 参数与数据的最优平衡怎样由拟合指数得到？
• MoE的active与total参数怎样记账？
• 重复语料的D应怎样定义？
• 低loss却任务退步如何检查？