题目重点：区分训练所得参数与事先选定的超参数，说明验证集搜索及最终测试集的使用边界。
题意与假设
这道练习题保留了面经中值得训练的核心约束，并将需要澄清的条件单独列出。现场拿到变体时，先和面试官确认这些条件。
- 以常见监督学习实验说明术语；某些方法中参数和配置可能共同优化，需交代所在层级。
解题路线
- 参数是训练目标优化得到的模型内部值，如线性回归权重、神经网络权重；超参数是训练流程/模型结构的外层选择，如正则强度、树深、学习率或 batch size。
- 先划 train/validation/test：每组超参数只在 train 拟合参数，在 validation 上比较；选定配置后按协议重训，再对 test 做一次最终评估。
- 若数据量小，可在开发集内用交叉验证，真正 test 仍保持隔离；预处理器、阈值和特征选择也应在训练折里拟合，避免泄漏。
- 解释 hyperparameter 的选择也是数据驱动，因此大量搜索可能过拟合 validation，需控制搜索空间并看方差。
手动走一遍
训练例：逻辑回归的权重 w 和截距 b 由训练数据求出；正则系数 λ 先设候选 {0.01,0.1,1}，用验证集挑选。不能在 test 上反复选 λ；最终模型版本应记录 λ、w、预处理和训练数据版本。
规模与取舍
H 组配置、k 折验证约需 H×k 次训练；随机/贝叶斯搜索可以更有效利用预算，但不能代替独立评估。
易错点与追问
容易失分的边界
- 说超参数一定由人手工选，而忽略自动搜索。
- 把训练权重在验证集上直接继续拟合。
- 预处理在全数据上 fit 后再划分。
- 调过很多配置后把同一 test 分数称无偏泛化估计。
继续深挖
- 决策阈值算参数还是超参数？
- Early stopping 依据哪份数据？
- 嵌套交叉验证适合什么情况？
