朴素贝叶斯分类

在贝叶斯定理中假设所有特征在给定类别下条件独立,得联合概率可分解为特征概率的乘积,大幅降低计算复杂度。
优点:
计算简单高效:对缺失数据不太敏感,算法也比较简单,在处理大规模数据时,运行速度较快。
所需估计的参数少:不需要像其他一些复杂的分类算法那样进行大量的参数调整和模型训练,因此在数据量较小的情况下也能有较好的表现。
适合增量式训练:在有新的数据加入时,可以方便地对模型进行更新,而不需要重新训练整个模型。
缺点:
特征条件独立假设往往不成立:在实际应用中,很多情况下特征之间是存在一定相关性的,这会影响模型的分类效果。
对输入数据的表达形式很敏感:例如,不同的特征编码方式可能会导致模型的性能有较大差异。

应用场景与计算流程小结

朴素贝叶斯的"朴素"指各特征在给定类别下条件独立这一假设,现实中特征往往相关,但它在文本类任务上依旧表现出色。

  • 典型应用:垃圾邮件过滤、新闻文本分类、情感倾向判断、拼写纠正;
  • 计算流程:统计各词语在各类别下的频率(似然),结合类别占比(先验),按乘积最大化原则判定新样本类别(后验取 argmax);
  • 拉普拉斯平滑:为避免某词出现次数为零导致整体概率归零,计数时统一加一;
  • 与逻辑回归的区别:朴素贝叶斯是生成式模型,逻辑回归是判别式模型,后者通常在特征相关性强的数据上更稳。

相关阅读