朴素贝叶斯公式P ( y ∣ x ) P ( y ) ⋅ P ( x ∣ y ) P ( x ) P(y|x) \cfrac{P(y) \cdot P(x|y)}{P(x)}P(y∣x)P(x)P(y)⋅P(x∣y)x xx代表特征可以有多个特征但是每个特征的取值只有0和1P ( y ) P(y)P(y)类别的先验概率P ( x ∣ y ) P(x|y)P(x∣y)针对每一个类别记录每一个特征出现取值为1的概率P ( y ∣ x ) P(y|x)P(y∣x)每个类别的后验概率选择后验概率最大的类别作为预测结果详细计算过程准备训练数据邮件编号是否包含免费是否包含中奖是否包含发票类别(标签)1110垃圾邮件2101垃圾邮件3111垃圾邮件4010垃圾邮件5100垃圾邮件6000正常邮件7001正常邮件8100正常邮件9000正常邮件10010正常邮件按类别分组统计垃圾邮件组邮件编号是否包含免费是否包含中奖是否包含发票类别(标签)1110垃圾邮件2101垃圾邮件3111垃圾邮件4010垃圾邮件5100垃圾邮件按类别分组统计正常邮件组邮件编号是否包含免费是否包含中奖是否包含发票类别(标签)6000正常邮件7001正常邮件8100正常邮件9000正常邮件10010正常邮件计算条件概率对于垃圾邮件类别特征1(免费)在5封垃圾邮件中有4封包含免费P ( 免费 1 ∣ 垃圾邮件 ) 4 5 0.8 P(免费1|垃圾邮件)\cfrac{4}{5}0.8P(免费1∣垃圾邮件)540.8特征2(中奖)在5封垃圾邮件中有3封包含中奖P ( 中奖 1 ∣ 垃圾邮件 ) 3 5 0.6 P(中奖1|垃圾邮件)\cfrac{3}{5}0.6P(中奖1∣垃圾邮件)530.6特征3(发票)在5封垃圾邮件中有2封包含发票P ( 发票 1 ∣ 垃圾邮件 ) 2 5 0.4 P(发票1|垃圾邮件)\cfrac{2}{5}0.4P(发票1∣垃圾邮件)520.4对于正常邮件类别特征1(免费)在5封垃圾邮件中有1封包含免费P ( 免费 1 ∣ 垃圾邮件 ) 1 5 0.2 P(免费1|垃圾邮件)\cfrac{1}{5}0.2P(免费1∣垃圾邮件)510.2特征2(中奖)在5封垃圾邮件中有1封包含中奖P ( 中奖 1 ∣ 垃圾邮件 ) 1 5 0.2 P(中奖1|垃圾邮件)\cfrac{1}{5}0.2P(中奖1∣垃圾邮件)510.2特征3(发票)在5封垃圾邮件中有1封包含发票P ( 发票 1 ∣ 垃圾邮件 ) 1 5 0.2 P(发票1|垃圾邮件)\cfrac{1}{5}0.2P(发票1∣垃圾邮件)510.2整理成条件概率表P ( x ∣ y ) P(x|y)P(x∣y)特征P(特征1|垃圾邮件)P(特征1|正常邮件)是否包含免费0.80.2是否包含中奖0.60.2是否包含发票0.40.2模型计算过程若存在以下新的样本数据[ 1 , 0 , 1 ] [1,0,1][1,0,1]需要计算这个新的样本数据属于哪个类别P ( y ) P ( 垃圾邮件 ) 5 10 0.5 P(y) P(垃圾邮件) \cfrac{5}{10} 0.5P(y)P(垃圾邮件)1050.5在朴素贝叶斯中前提性假设特征之间是相互独立的所以该样本数据为垃圾邮件的概率为P ( x ∣ y ) P ( y ) P ( x ∣ y ) P ( x ) P ( y ) P ( x 1 , x 2 , x 3 ∣ y ) P ( x ) P ( y ) P ( x 1 ∣ y ) P ( x 2 ∣ y ) P ( x 3 ∣ y ) P ( x ) P ( y ) P ( 1 ∣ y ) P ( 0 ∣ y ) P ( 1 ∣ y ) P ( x ) P ( y ) P ( 免费 ∣ 垃圾邮件 ) P ( 未中奖 ∣ 垃圾邮件 ) P ( 发票 ∣ 垃圾邮件 ) P ( x ) 0.5 ∗ 0.8 ∗ ( 1 − 0.6 ) ∗ 0.4 P ( x ) 0.064 P ( x ) \begin{split} P(x|y) \cfrac{P(y)P(x|y)}{P(x)}\\ \cfrac{P(y)P(x_1,x_2,x_3|y)}{P(x)} \\ \cfrac{P(y)P(x_1|y)P(x_2|y)P(x_3|y)}{P(x)} \\ \cfrac{P(y)P(1|y)P(0|y)P(1|y)}{P(x)} \\ \cfrac{P(y)P(免费|垃圾邮件)P(未中奖|垃圾邮件)P(发票|垃圾邮件)}{P(x)} \\ \cfrac{0.5*0.8*(1-0.6)*0.4}{P(x)} \\ \cfrac{0.064}{P(x)} \\ \end{split}P(x∣y)P(x)P(y)P(x∣y)P(x)P(y)P(x1,x2,x3∣y)P(x)P(y)P(x1∣y)P(x2∣y)P(x3∣y)P(x)P(y)P(1∣y)P(0∣y)P(1∣y)P(x)P(y)P(免费∣垃圾邮件)P(未中奖∣垃圾邮件)P(发票∣垃圾邮件)P(x)0.5∗0.8∗(1−0.6)∗0.4P(x)0.064在朴素贝叶斯中前提性假设特征之间是相互独立的所以该样本数据为正常邮件的概率为P ( x ∣ y ) P ( y ) P ( x ∣ y ) P ( x ) P ( y ) P ( x 1 , x 2 , x 3 ∣ y ) P ( x ) P ( y ) P ( x 1 ∣ y ) P ( x 2 ∣ y ) P ( x 3 ∣ y ) P ( x ) P ( y ) P ( 1 ∣ y ) P ( 0 ∣ y ) P ( 1 ∣ y ) P ( x ) P ( y ) P ( 免费 ∣ 正常邮件 ) P ( 未中奖 ∣ 正常邮件 ) P ( 发票 ∣ 正常邮件 ) P ( x ) 0.5 ∗ 0.2 ∗ ( 1 − 0.2 ) ∗ 0.2 P ( x ) 0.016 P ( x ) \begin{split} P(x|y) \cfrac{P(y)P(x|y)}{P(x)}\\ \cfrac{P(y)P(x_1,x_2,x_3|y)}{P(x)} \\ \cfrac{P(y)P(x_1|y)P(x_2|y)P(x_3|y)}{P(x)} \\ \cfrac{P(y)P(1|y)P(0|y)P(1|y)}{P(x)} \\ \cfrac{P(y)P(免费|正常邮件)P(未中奖|正常邮件)P(发票|正常邮件)}{P(x)} \\ \cfrac{0.5*0.2*(1-0.2)*0.2}{P(x)} \\ \cfrac{0.016}{P(x)} \\ \end{split}P(x∣y)P(x)P(y)P(x∣y)P(x)P(y)P(x1,x2,x3∣y)P(x)P(y)P(x1∣y)P(x2∣y)P(x3∣y)P(x)P(y)P(1∣y)P(0∣y)P(1∣y)P(x)P(y)P(免费∣正常邮件)P(未中奖∣正常邮件)P(发票∣正常邮件)P(x)0.5∗0.2∗(1−0.2)∗0.2P(x)0.016由于P ( x ) P(x)P(x)在垃圾邮件和正常邮件的计算过程中是相同的所以该样本数据为垃圾邮件的概率可以看做为0.064为正常邮件的概率可以看做为0.016由于0.064 0.016 0.0640.0160.0640.016所以该数据被判定为垃圾邮件
