MLE / Research · ML Domain / ML System Design

Naive Bayes:条件独立、log概率和零频平滑

分类比较各类别后验,独立是假设不是观察事实。

题目重点:分类比较各类别后验,独立是假设不是观察事实。

题意与假设

这道练习题保留了面经中值得训练的核心约束,并将需要澄清的条件单独列出。现场拿到变体时,先和面试官确认这些条件。

  • 训练为分类任务:类别c、离散特征x_j,在类别给定后假设特征条件独立。
  • 连续/Gaussian或文本multinomial变体需另定分布,不混用平滑公式。

解题路线

  1. p(c|x)∝p(c)Πj p(x_j|c),取log后为logprior+Σloglikelihood。预测argmax无需计算共同归一化常数;需要校准概率时则要logsumexp。
  2. 零频导致乘积0,离散有限类别可用加α平滑,分母也加α×类别数。文本count模型还要明确词表及unknown处理。
  3. 强相关特征可能重复计算证据,让概率过于自信;分类排序仍可能有用,但应通过留出集评估与校准,不把假设当真。

手动走一遍

某类从未见过词w,不平滑会让带w样本该类概率0。词表V、类中总tokenN时p(w|c)=(count+α)/(N+αV)。两个完全重复特征会把同一likelihood因子乘两次,概率更极端而非增加独立信息。

规模与取舍

分类C类、d非零特征常用O(Cd)评分;存储取决于类别×词表。用log减少下溢,但仍需缺失特征与未知值合同。

易错点与追问

容易失分的边界

  • p(x|c)独立不意味着p(x)各特征独立。
  • 拉普拉斯平滑并非对任意连续密度直接+1。

继续深挖

  • Bernoulli与multinomial文本模型怎样处理未出现词?
  • prior改变而likelihood稳定时怎样重新校准后验?
✓已复制微信号!