脏数据训练飞轮：候选挖掘、质量验证与迭代门控

题目重点：新数据的数量不是目标，独立评估要验证质量和覆盖真的改善。

题意与假设

这道练习题保留了面经中值得训练的核心约束，并将需要澄清的条件单独列出。现场拿到变体时，先和面试官确认这些条件。

raw ingestion保留source/content hash/时间/用途，先做格式修复、exact/near duplicate及敏感内容处理。质量规则分硬错误、任务相关性与可学习价值，不能一项length score替代全部。
建立人工审核seed与清楚rubric，用小规模多审阅者校准分歧；模型质量打分/规则只作候选筛选。罕见语言/难任务低分可能是评分模型偏差，不一刀切掉。
挖掘策略兼顾质量与coverage/diversity，去重跨train/eval并追踪同源污染。高loss可能有学习价值也可能错标，不只按模型最不确定采样，保留分层随机审核。
每轮DatasetManifest绑定筛选/模型版本及来源权重，训练固定预算比较新旧混合；held-out评估不能被飞轮反复回收。用ablation区分数据质量、量和训练预算带来的变化。
门控检验目标任务改善、旧能力回归、风险切片和数据污染，失败rollback到前版manifest/model。在线反馈是带曝光偏差的弱信号，需校验用户修正，避免模型自己生成的数据反复强化错误。

某规则删掉短文本后平均分上升，但指令类短文本覆盖下降，需分任务复核而不是全局保留更长文本。新数据集包含eval近重复，提升不能视为泛化；按source/hash/语义组去重后重评。

清洗/embedding成本按raw bytes/样本量，近重复召回与人工审阅独立预算。每轮训练成本取决于tokens和模型，不保证固定新增样本数线性提高能力；manifest使成本与收益可追溯。