数据挖掘——朴素贝叶斯分类

《数据挖掘》国防科技大学
《数据挖掘》青岛大学
Python：贝叶斯分类
贝叶斯分类基于贝叶斯定理，是机器学习的核心方法之一。
目前研究较多的贝叶斯分类器主要有四种：

• 朴素贝叶斯分类器(Naive Bayes Classifier,或 NBC)
• TAN
• BAN
• GBN

数据挖掘之朴素贝叶斯分类

• 朴素贝叶斯分类器有坚实的数学基础，以及稳定的分类效率。同时，此模型所需估
计的参数很少，对缺失数据不太敏感，算法也比较简单。

贝叶斯定理

最终的目标就是求得p(类别|特征) 。
• 朴素贝叶斯中的朴素就是假设各特征之间相互独立。

工作过程

优缺点

• 优点：
  （1）逻辑简单、易于实现、分类过程中算法的时间空间开销比较小；
  （2）算法比较稳定、具有比较好的健壮性
• 缺点：有属性间条件独立的这个假定，而很多实际问题中这个独立性假设并不成立，如果在属性间存在相关性的实际问题中忽视这一点，会导致分类效果下降。

补充

来自：白板推导笔记

Python实现

sklearn.naive_bayes: Naive Bayes模块

根据特征数据的先验分布不同，scikit-learn库提供了5种不同的朴素贝叶斯分类算法：

1. 伯努利朴素贝叶斯（BernoulliNB）
2. 类朴素贝叶斯（CategoricalNB）
3. 高斯朴素贝叶斯（GaussianNB）