题目重点：Nvidia 电话面经问何时选 8B、30B 或 120B 模型；本文用任务评测、显存下界、KV cache、吞吐和总成本给出可复查决策路径。
题意与假设
这道练习题保留了面经中值得训练的核心约束，并将需要澄清的条件单独列出。现场拿到变体时，先和面试官确认这些条件。
- 8B/30B/120B 指约 80 亿/300 亿/1200 亿参数的候选量级，而非指定产品；训练例仅比较相同任务与数据条件下的部署选项。
- 显存算例先按 BF16 每参数 2 字节估计纯权重下界，不含 KV cache、临时 buffer、分布式通信、运行时和碎片化；量化方式及精度要另行核对。
- 客户目标假设为在线问答，须满足目标正确率、p95 首 token 时间、输出吞吐、峰值并发和每次请求成本；具体数值未见题目。
解题路线
- 先确定任务和失败成本：事实问答、代码、工具调用、长上下文和安全约束对模型能力的要求不同。建立同一时间切分、同一提示词与检索条件的代表性评测集，按客户人群分组看质量和坏例。
- 给资源下界：BF16 权重约为 8B→16 GB、30B→60 GB、120B→240 GB。运行时还需 KV cache，且随着上下文长度、batch/并发与层数增长；不要把权重刚好装下当成可提供目标吞吐。
- 在同一硬件预算下测 p50/p95 首 token 与完成时间、tokens/s、并发极限、显存峰值和成本。量化、小模型配检索或蒸馏、批处理与多卡并行是候选优化，但都要重新评估质量与尾延迟。
- 先选达到质量底线且满足 SLA 的最小可运营方案；只有当更大模型在关键错误上带来足够收益、且客户愿意付出显存/成本/运营复杂度时升级。对高难输入也可做路由，但要算路由误判与双模型维护成本。
手动走一遍
训练例：8B 已满足常见 FAQ，但复杂多步问题的正确率不达标；30B 在关键客户集上改善并能满足延迟预算，120B 质量再提高却超过成本上限。此时选 30B 或 8B+难题升级路由，再用线上小流量实验验证。若任务转为离线高价值报告、没有严格延迟，120B 可能变合理；结论由任务而非参数数值决定。
规模与取舍
纯权重内存下界约 O(P×b)，P 为参数数、b 为每参数字节；实际推理显存还包含随上下文和并发增长的 KV cache 与运行时开销。对 K 个候选模型、M 道评测题，离线评估至少要执行 O(KM) 个样本，并按输出长度和重试计入 token 成本。
易错点与追问
容易失分的边界
- 只看参数量就断言 120B 一定比 30B 好，忽略训练数据、架构、微调和具体任务。
- 只用 BF16 权重大小推单卡可部署性，遗漏 KV cache、峰值并发和临时工作区。
- 用不同提示词、检索或任务集比较候选模型，得出不可归因的质量排序。
- 只看平均延迟和离线分数，忽略 p95 尾延迟、失败恢复与每请求成本。
继续深挖
- 若一部分任务特别难，可讨论小模型优先、置信度门控与大模型升级的路由评估。
- 若长上下文导致 KV cache 成本高，比较截断、检索、缓存/分页与压缩，但先验证是否损失关键信息。
- 若部署预算固定，量化方案必须同时量测目标任务质量、硬件支持和推理吞吐，不把位宽节省直接等同最终成本节省。
