题目重点：从 OCR 文档生成模型训练样本，保留文字与版面来源，分层处理乱码、重复、隐私和评价集污染。
题意与假设
这道练习题保留了面经中值得训练的核心约束，并将需要澄清的条件单独列出。现场拿到变体时，先和面试官确认这些条件。
- 训练版 OCR 记录有文档 ID、页号、识别文本和可选 token 位置/置信度；这些是建议数据契约，不宣称题目已有。
- 下游可能是检索增强或模型继续训练，二者对保留布局、切块、版权与标签的要求不同，应先向面试官澄清。
- 清洗不能把难例全部删掉后只报更高分；质量评价须保留低质量/多语言/表格分层。
解题路线
- 先建立文档级 split 和来源清单，查版权/权限、敏感数据及重复页；训练/验证/测试必须按文档或相近内容组划分，避免同一页面的不同 OCR 版本跨集合泄漏。
- 结合 OCR 置信度、字符集、语言检测和版面坐标找乱码、断行、页眉页脚重复、列混排、表格错位；低置信样本隔离审阅，不盲目删所有非主语言。
- 做 Unicode/空白等保守规范化、段落与阅读顺序恢复、文档级近重复去重；保留原文本、图像/页面引用、变换版本与错误标记，便于追溯。
- 训练数据可按任务生成：检索切块保留页号和版面，问答样本需证据跨度与答案可核验；不能把模型凭空生成的伪标签当真值。
- 设置小规模人工金标集，量 OCR CER/WER、阅读顺序、表格单元正确率和下游答案引用；按语言/文档类型分层，比较清洗前后并检查是否损伤数字、日期和代码。
- 部署流水线记录每步淘汰率、敏感信息漏检、近重复率和数据版本；新 OCR 模型或规范化规则上线须回归测试与可回滚。
手动走一遍
双栏扫描件 OCR 把左右两栏逐行交错，单看字符置信度可能很高，但段落顺序已错；需根据坐标重建阅读顺序。页眉‘Confidential’每页重复，去重时应识别重复模板，不能把所有含这个词的不同正文页合并。
规模与取舍
N 个 OCR token，逐条规范化/规则检查通常 O(N)；近重复可用哈希/索引候选避免全对全 O(D²) 文档比对，但实际成本随文档数 D、切块和指纹策略变化。人工金标成本需按语言和版面类型抽样预算。
易错点与追问
容易失分的边界
- 只看 OCR 平均置信度，不查多栏顺序与表格结构。
- 随机按行切分数据，导致同一文档跨训练和测试。
- 无原图/页号溯源，无法核实模型引用。
- 一刀切删除低置信或非英语文档，评价集变容易而真实覆盖变差。
- 把自动生成标签当人工金标。
继续深挖
- 没有原始图像时能判断哪些 OCR 错误，不能判断哪些？
- 表格和公式应做结构解析还是保留文本？
- 如何处理私人文档的去标识与删除请求？
- 数据清洗后下游指标变差时如何定位是哪一步造成？
