题目重点:分类比较各类别后验,独立是假设不是观察事实。
题意与假设
这道练习题保留了面经中值得训练的核心约束,并将需要澄清的条件单独列出。现场拿到变体时,先和面试官确认这些条件。
- 训练为分类任务:类别c、离散特征x_j,在类别给定后假设特征条件独立。
- 连续/Gaussian或文本multinomial变体需另定分布,不混用平滑公式。
解题路线
- p(c|x)∝p(c)Πj p(x_j|c),取log后为logprior+Σloglikelihood。预测argmax无需计算共同归一化常数;需要校准概率时则要logsumexp。
- 零频导致乘积0,离散有限类别可用加α平滑,分母也加α×类别数。文本count模型还要明确词表及unknown处理。
- 强相关特征可能重复计算证据,让概率过于自信;分类排序仍可能有用,但应通过留出集评估与校准,不把假设当真。
手动走一遍
某类从未见过词w,不平滑会让带w样本该类概率0。词表V、类中总tokenN时p(w|c)=(count+α)/(N+αV)。两个完全重复特征会把同一likelihood因子乘两次,概率更极端而非增加独立信息。
规模与取舍
分类C类、d非零特征常用O(Cd)评分;存储取决于类别×词表。用log减少下溢,但仍需缺失特征与未知值合同。
易错点与追问
容易失分的边界
- p(x|c)独立不意味着p(x)各特征独立。
- 拉普拉斯平滑并非对任意连续密度直接+1。
继续深挖
- Bernoulli与multinomial文本模型怎样处理未出现词?
- prior改变而likelihood稳定时怎样重新校准后验?
