朴素贝叶斯分类器在文本分类中的工作原理一、核心思想朴素贝叶斯Naive Bayes基于贝叶斯定理通过计算后验概率进行分类。给定一个文本文档 d目标是找到使后验概率最大的类别 cc∗argmaxcP(c∣d)argmaxcP(d∣c)⋅P(c)P(d)c^* \arg\max_{c} P(c|d) \arg\max_{c} \frac{P(d|c) \cdot P(c)}{P(d)}c∗argcmaxP(c∣d)argcmaxP(d)P(d∣c)⋅P(c)由于P(d)P(d)P(d)对所有类别相同可省略实际优化目标为c∗argmaxcP(c)⋅P(d∣c)c^* \arg\max_{c} P(c) \cdot P(d|c)c∗argcmaxP(c)⋅P(d∣c)二、工作流程1. 文本预处理与特征提取分词中文/Tokenization英文去停用词、词干化将文档表示为词袋Bag of Words或 TF-IDF 向量2. 训练阶段参数估计从训练集统计两类概率概率含义估计方式先验概率P(c)P(c)P(c)类别 c 出现的概率P(c)NcNP(c) \frac{N_c}{N}P(c)NNc该类文档数 / 总文档数条件概率P(wi∣c)P(w_i|c)P(wi∣c)类别 c 中词wiw_iwi出现的概率见下方公式条件概率采用拉普拉斯平滑避免零概率问题P(wi∣c)count(wi,c)1∑wcount(w,c)∣V∣P(w_i|c) \frac{count(w_i, c) 1}{\sum_{w} count(w, c) |V|}P(wi∣c)∑wcount(w,c)∣V∣count(wi,c)1其中∣V∣|V|∣V∣为词表大小count(wi,c)count(w_i, c)count(wi,c)为词wiw_iwi在类别 c 所有文档中的出现次数。3. 预测阶段对新文档 d包含词w1,w2,...,wnw_1, w_2, ..., w_nw1,w2,...,wn计算每个类别的得分Score(c)logP(c)∑i1nlogP(wi∣c)Score(c) \log P(c) \sum_{i1}^{n} \log P(w_i|c)Score(c)logP(c)i1∑nlogP(wi∣c)取得分最大的类别作为预测结果。取对数是为了将连乘转为连加防止多个小概率相乘导致浮点下溢。三、朴素的含义朴素Naive指一个强假设特征条件独立。即假设在给定类别 c 的条件下文档中各个词的出现是相互独立的P(d∣c)P(w1,w2,...,wn∣c)∏i1nP(wi∣c)P(d|c) P(w_1, w_2, ..., w_n | c) \prod_{i1}^{n} P(w_i|c)P(d∣c)P(w1,w2,...,wn∣c)i1∏nP(wi∣c)为什么说它朴素这个假设在现实中几乎总是不成立的。自然语言中词与词之间存在强依赖关系机器和学习经常共现不和好组合后语义反转语法结构带来上下文依赖为什么仍然有效尽管假设不成立朴素贝叶斯在文本分类中表现优异原因在于分类只需排序不需精确概率——即使概率估计有偏差只要正确类别的得分排名最高即可高维稀疏下独立性假设的偏差被稀释——文本特征空间巨大单个词的依赖影响被众多独立特征的平均效应稀释计算高效——避免了估计高维联合分布的困难训练和预测都是线性复杂度O(n)O(n)O(n)四、常用变体变体适用场景特点多项式朴素贝叶斯文本分类考虑词频用词频计数最常用伯努利朴素贝叶斯短文本/二值特征只考虑词是否出现0/1高斯朴素贝叶斯连续特征假设特征服从高斯分布五、总结朴素贝叶斯的核心是用贝叶斯定理做后验概率最大化朴素体现在假设特征条件独立以简化联合概率计算。这个假设虽不严格成立但因分类任务只需相对排序、且文本高维稀疏特性使偏差影响有限使其成为文本分类中简单、高效、效果稳健的经典基线方法。
