题目重点:把武器识别与交易意图区分开,设计标签、候选召回、多模态精排、阈值、人工复核和新型物体评估。
题意与假设
这道练习题保留了面经中值得训练的核心约束,并将需要澄清的条件单独列出。现场拿到变体时,先和面试官确认这些条件。
- 先给出政策定义:训练目标是受限制武器的交易意图,不把所有武器图片、新闻、博物馆或游戏内容一律判为交易。具体政策类别与例外由面试给定。
- 输入包括图像、文本、可授权读取的上下文;模型输出风险与证据,最终执法动作遵循政策、地区和申诉流程。个人身份或敏感属性不能随意当作决策捷径。
- 容量假设:每天1亿条post,平均约1157条/秒;若召回保留1%,重模型平均约11.6条/秒,峰值系数和编辑重检需另加。
- 若目标只判视觉中存在武器,不要求销售意图,label/指标改为视觉存在;包含武器与销售武器是两种target,不能共用一份未注明标签。
解题路线
- 建立分层标签:物体是否武器、是否交易表达、是否政策违规、审核确信度。使用复核一致的人工标签和真实申诉结果;已删除记录存在选择偏差,未审核不等于负样本,需抽样审查全流量并保留采样权重。
- 特征从销售意图出发:价格/货币、库存、联系或下单措辞、商品图组合、图文一致性、可验证的商家/帖子上下文。OCR与图像编码分别提取,再用cross-attention联合图文;baseline为规则+文本线性模型或树模型,量化提升后引入VLM。
- 轻量召回高敏感度覆盖明显交易线索,重模型精排兼顾召回与误杀,边界样本人工复核。两个阶段不能只在第一级已命中的训练集评价总体召回;整体召回=召回阶段召回×条件精排召回,漏斗每层需独立和端到端测试。
- 按时间、语言和交易主体隔离train/test,防止同广告副本泄漏。指标覆盖违规recall、每百万正常post误杀、PR曲线、人工审核量、申诉推翻率与检测延迟;按地区/语言/新型物体切片,不以稀疏类别accuracy作为主指标。
- 对新型物体做开放集与不确定性处理:授权参考资料、专家标签、近邻检索和小样本评估;合成增强只做训练辅助,不能把模型生成物当真实新武器标签。安全地提升人工抽样,观察漂移再更新模型和阈值。
- 上线shadow与审核对照,缓存按内容hash+model/policy版本;编辑使缓存失效。回滚必须同时管理模型、阈值与政策版本,保存判定证据供申诉。
- 视觉存在变体可用detector/局部图像embedding覆盖小物体、遮挡与新类别,并按视觉positive定义召回误报。交易目标还需文本/页面/意图证据,体育/新闻图只在sales目标下常为negative,视觉目标下可能positive。
手动走一遍
持枪新闻照片与“出售、价格、联系方式”的商品图可能共享视觉武器特征,但行为标签不同。若召回95%、精排条件召回90%,总召回约85.5%。假设真实违规率0.1%,10万正常误杀与抓住少量违规相比会产生显著审核和用户损失,阈值需按业务成本设定。
规模与取舍
单条pipeline延迟为预处理/OCR/视觉/文本/融合/动作链路,异步上线需明确发布前还是发布后限制。重模型成本与进入精排比例成正比;缓存命中率和误召回都会改变GPU预算。保存审核样本需遵守访问和保留策略,容量按实际payload与期限估算。
易错点与追问
容易失分的边界
- 只训练weapon detector会把新闻/收藏展示误当销售,并漏掉文字交易;两种信号需要共同建模。
- “用户拍了一张图片”不能独自决定是否合法;版权、交易和新闻政策是不同任务。
- 已标违规训练集与线上分布差异大,规则触发样本上的高PR不能证明全流量表现。
- 新闻图有武器却无交易:视觉存在target可能真阳性,销售target可能应否。训练/评估数据必须跟target一致。
继续深挖
- 漏斗每层用同一训练数据吗?数据可以共享基础池,但采样分布、难负样本和目标不同;保留总体抽样校准,避免下游只看容易样本。
- 低资源语言如何覆盖暗语?用审核主动学习、跨语言表示和地区专家反馈,监测分组误杀,不把翻译结果当真值。
- 如何区分新型物体带来的分布外信号与普通高置信度模型错误?评估embedding距离、模型分歧并做人工审计,任何单一score都不保证OOD检测。
