Bloomberg DMP 历史与预测数据校验：通过率、失败项和大数据

题意与假设

这道练习题保留了面经中值得训练的核心约束，并将需要澄清的条件单独列出。现场拿到变体时，先和面试官确认这些条件。

• 历史记录可与权威来源和报表勾稽，预测记录需同时核输入/方法/版本与事后准确度；题目无具体数据集或业务风险等级。
• 不存在跨数据集通用的‘通过率达到 X% 就有效’；不同字段/规则的严重性必须分级。

解题路线

1. 先按 recordType 标历史/预测，保留 asOfDate、forecastHorizon、模型/来源版本，防未来真实值混入旧时点预测。
2. 历史数据做 schema、非空/范围、唯一键、期间/币种与报表勾稽，失败需回到来源和修订历史。
3. 预测数据除格式校验外，核假设、可用信息时点、版本、异常值和交叉字段约束；到期后用真实结果按 horizon/segment 回测偏差和覆盖率。
4. 通过率同时按规则严重度、金额暴露、样本量和分组报告；关键主键/财务勾稽失败即使比例很低也可阻断发布。
5. 大数据优先对主键、约束、财务总额做全量确定性检查；昂贵的语义/人工审查可分层抽样，失败样本隔离、修复、重放并记录 owner。

手动走一遍

训练例：100 万行预测只有 0.01% 失败，但这 100 行恰是主要客户且金额占 20%；单一行数通过率 99.99% 仍不能说明数据安全。先隔离失败批、查来源/版本，再确定能否发布非受影响分组。

规模与取舍

R 行全量 schema/唯一键/总额校验通常 O(R) 期望时间，唯一键集合可占 O(R) 内存或用外部排序；抽样节省昂贵检查但不能替代关键全量约束。

易错点与追问

容易失分的边界

• 拍脑袋给 95%/99% 通用通过线。
• 把预测误差与历史数据记录错误混作一个指标。
• 全量检查所有高成本语义规则却无资源预算。
• 只报行数通过率，忽略金额/关键实体风险。

继续深挖

• 历史与预测哪个更重要、更难？
• 失败记录是修、删还是隔离？
• 采样遗漏罕见严重错误怎么办？
• 回填修订如何保证可追溯？