MLE / Research Scientist · ML Coding / Design

TikTok 大数据库隐私风险分类:扫描、证据与误报

设计字段与记录级风险识别,比较规则、模型和 RAG,并保护检测流水线本身。

题目重点:设计字段与记录级风险识别,比较规则、模型和 RAG,并保护检测流水线本身。

题意与假设

这道练习题保留了面经中值得训练的核心约束,并将需要澄清的条件单独列出。现场拿到变体时,先和面试官确认这些条件。

  • 风险类别、法规范围和允许访问权限需先确认;本文是技术分类方案,不提供法律结论。
  • 敏感信息只进入经授权的受控处理环境,分类结果保存必要证据摘要。

解题路线

  1. 先定义检测对象是schema字段、单元格、文档还是跨字段组合;列风险taxonomy和人工标注协议,避免“隐私”变成无边界标签。
  2. 结构规则处理邮箱/标识符形状,NER/分类模型补上下文;RAG可检索政策与例子支持判断,但不替代数据扫描,也不能把不可信内容当指令。
  3. 分块扫描、checkpoint与增量CDC避免每次全库重读;对分区抽样量化覆盖,不能把样本无问题当全库无风险。
  4. 输出recordID/field/category/confidence/规则版本及必要脱敏证据;高风险或低置信度走人工审阅,追踪漏报和误报。检测日志同样最小化敏感内容。
  5. 阈值按漏报成本选择,评估分语言/字段类型/来源;修复与删除是独立授权流程,不把分类自动变成不可逆操作。

手动走一遍

“123456”可能是普通商品号或敏感账号片段,模式只能提供线索,需要字段上下文。政策更新后按version重评受影响记录,保留历史决策依据但限制原始值留存。

规模与取舍

全扫描N字节至少O(N)读取;model调用按chunk与token预算,增量量取决于变更率。限速/隔离避免扫描压垮主数据库。

易错点与追问

容易失分的边界

  • RAG一句话替代整个方案。
  • 把全量敏感数据送往未经确认的外部服务。
  • 只报accuracy忽略罕见风险漏检。

继续深挖

  • 跨字段组合风险如何识别?
  • 如何验证未知格式的召回能力?
✓已复制微信号!