贝叶斯方法和朴素贝叶斯算法
贝叶斯方法
主要内容:
贝叶斯简介:
贝叶斯(Thomas Bayes)是18世纪的英国数学家,他的贝叶斯方法源于解决“逆概”问题的文章,生前未受重视,死后才被认可。
正向概率与逆向概率:
正向概率:已知袋子中黑白球的数量,计算摸出黑球的概率。
逆向概率:不知道袋子中黑白球的比例,通过摸出的球的颜色推测袋子中黑白球的比例。
贝叶斯公式:
通过一个例子(男生穿长裤,女生一半穿长裤一半穿裙子)解释贝叶斯公式的应用,计算穿长裤的学生中女生的概率。
公式推导:P(Girl|Pants) = P(Girl) * P(Pants|Girl) / [P(Boy) * P(Pants|Boy) + P(Girl) * P(Pants|Girl)],并说明总人数无关紧要。
朴素贝叶斯算法:
拼写纠正实例:通过贝叶斯方法推测用户实际想输入的单词,考虑先验概率和观测数据的可能性。
垃圾邮件分类实例:通过贝叶斯方法判断邮件是否为垃圾邮件,计算先验概率和条件概率。
朴素贝叶斯算法
主要内容:
多项式朴素贝叶斯(MultinomialNB):
适用于离散型数据,如文本分类,常用统计单词出现次数。
代码示例:
from sklearn.naive_bayes import MultinomialNB
高斯朴素贝叶斯(GaussianNB):
适用于连续型数据,如具体数字,基于正态分布。
代码示例:
from sklearn.naive_bayes import GaussianNB
伯努利朴素贝叶斯(BernoulliNB):
适用于离散型数据且特征值为0和1,常用于文本分类中表示特征是否出现。
代码示例:
from sklearn.naive_bayes import BernoulliNB
朴素贝叶斯的代码实现:
课堂练习:使用朴素贝叶斯实现手写数字识别,下载数据集:
from sklearn.datasets import load_digits
机器学习中的贝叶斯方法
贝叶斯简介:
贝叶斯(Thomas Bayes)是18世纪的英国数学家,他的贝叶斯方法源于解决“逆概”问题的文章,生前未受重视,死后才被认可。
正向概率与逆向概率:
正向概率:已知袋子中黑白球的数量,计算摸出黑球的概率。
逆向概率:不知道袋子中黑白球的比例,通过摸出的球的颜色推测袋子中黑白球的比例。
贝叶斯公式:
通过一个例子(男生穿长裤,女生一半穿长裤一半穿裙子)解释贝叶斯公式的应用,计算穿长裤的学生中女生的概率。公式推导如下:
P(Girl∣Pants)=P(Boy)×P(Pants∣Boy)+P(Girl)×P(Pants∣Girl)P(Girl)×P(Pants∣Girl)
并且说明总人数无关紧要。
朴素贝叶斯算法:
拼写纠正实例:通过贝叶斯方法推测用户实际想输入的单词,考虑先验概率和观测数据的可能性。
垃圾邮件分类实例:通过贝叶斯方法判断邮件是否为垃圾邮件,计算先验概率和条件概率。
朴素贝叶斯算法的实现
多项式朴素贝叶斯(MultinomialNB):
适用于离散型数据,如文本分类,常用统计单词出现次数。
代码示例:
from sklearn.naive_bayes import MultinomialNB
高斯朴素贝叶斯(GaussianNB):
适用于连续型数据,如具体数字,基于正态分布。
代码示例:
from sklearn.naive_bayes import GaussianNB
伯努利朴素贝叶斯(BernoulliNB):
适用于离散型数据且特征值为0和1,常用于文本分类中表示特征是否出现。
代码示例:
from sklearn.naive_bayes import BernoulliNB