题目重点:给文本数据集训练有害内容模型,解释切分、baseline、类别不平衡、上下文与上线阈值。
题意与假设
这道练习题保留了面经中值得训练的核心约束,并将需要澄清的条件单独列出。现场拿到变体时,先和面试官确认这些条件。
- 数据标签按题面政策定义,可能多标签并有unknown/ambiguous;不把包含某关键词一律判有害。训练集与标签协议未附,不虚构实际模型分数。
- 先问语言、目标类别、误杀/漏检成本、是否带上下文与实时延迟;code package/模型具体版本按实际环境固定。
解题路线
- 审计标签和数据:去重及近重复分组,同作者/同模板/同事件按group分割,再按时间留最终测试。用户引用辱骂举报、教育语境与攻击性使用可能字面相同,需上下文与政策判断。
- baseline词/字符TF-IDF+线性分类器,提供强可解释起点;再微调预训练文本encoder分类头。明确tokenization、截断长文本、attention mask、训练/验证与early stopping;不能只运行trainer默认配置。
- 类别不平衡用权重/分层采样,验证保留真实先验;加权loss输出概率可能失准,校准与阈值需单独保留集。多标签用各类独立目标,不用互斥softmax误迫只能一类。
- 评估PR、每类recall、正常文本误杀、语言/长度/引用上下文切片、校准与OOD未知。accuracy在极少有害样本下可能虚高,不能仅报一个总体数。
- 上线用高/低两阈值区分直接动作、灰区复核与放行,低资源语言加强审查。模型/阈值/政策版本共同记录,申诉与审核反馈去偏后更新训练池,未成熟标签不直接加入。
手动走一遍
99%正常文本时永远预测正常可得99%accuracy,却捕获0有害样本。句子“有人骂我‘…’,我要举报”含同关键词但不同意图,缺上下文训练会误杀受害者。
规模与取舍
文本encoder长度L标准attention约O(L²d),截断与chunk策略影响长文召回;训练预算按数据量/epochs/token长与硬件量测,不给未执行benchmark。轻baseline可用于失败fallback但仍须同政策评估。
易错点与追问
容易失分的边界
- 随机拆分重复模板会让测试过度容易,不是真实跨时间泛化。
- 校准/调阈值使用最终测试集会泄漏。
- 模型分数高不说明政策定义清晰,标签一致性与审核反例应先检查。
继续深挖
- 如何处理新暗语?monitor漂移、主动学习与审核样本,不只扩关键词表。
- 没有足够标签时先做人工协议与抽样baseline,弱监督标签保留来源置信,不能当无噪声真值。
