廖老师质疑杜达（Duda）——对贝叶斯公式的理解

杜达是从依据先验概率判决引入贝叶斯公式的廖老师指出先验分布先验概率比样本分布类条件概率更难获取而且从先验概率判决简直不合理确实荒谬他也指出“后验概率是对先验概率修正”这样的表达是错误的。先验概率不能作为判决的依据引入先验分布之后与样本分布相结合通过贝叶斯公式计算后验贝叶斯推断从后验概率出发。数学教材都说后验概率是先验概率的修正。定理 设B1,B2,⋯ ,BnB_1, B_2, \cdots, B_nB1​,B2​,⋯,Bn​为样本空间Ω\varOmegaΩ的一个划分且P(Bi)0,i1,2,⋯ ,nP(B_i) 0, i 1, 2, \cdots, nP(Bi​)0,i1,2,⋯,n则对于任意随机事件AAA且P(A)0P(A) 0P(A)0有P(Bi∣A)P(A∣Bi)P(Bi)∑j1nP(A∣Bj)P(Bj),i1,2,⋯ ,nP(B_i \mid A) \frac{P(A \mid B_i)P(B_i)}{\sum\limits_{j1}^{n} P(A \mid B_j)P(B_j)}, i 1, 2, \cdots, nP(Bi​∣A)j1∑n​P(A∣Bj​)P(Bj​)P(A∣Bi​)P(Bi​)​,i1,2,⋯,n贝叶斯公式是利用已有结论重新评估或修正各个条件出现的概率公式中的P(Bi)P(B_i)P(Bi​)和P(Bi∣A)P(B_i \mid A)P(Bi​∣A)分别称作原因或条件的先验概率和后验概率。P(Bi),i1,2,⋯ ,nP(B_i), i 1, 2, \cdots, nP(Bi​),i1,2,⋯,n是在没有进一步信息不知道事件AAA是否发生的前提下认定的各条件发生的概率在获得了新的信息事件AAA已经发生后对先前各条件发生概率的修正即形成概率P(Bi∣A)P(B_i \mid A)P(Bi​∣A)。引入先验概率的目的是什么托马斯·贝叶斯Thomas Bayes在1763年的论文中只给出了一个逆概率公式即在已知结果的情况下推断原因发生的概率。贝叶斯本人从未说明先验概率是什么。先验概率随数据修正为后验概率这样的表述出自于弗兰克·拉姆齐。他在1926年的论文《真理与概率》Truth and Probability中将概率解释为主观置信度degree of belief。起始于主观的“置信度”先验概率通过贝叶斯公式根据新信息“修正”为新的置信度后验概率。布鲁诺·德菲内蒂在其1937年的论文《预见其逻辑法则与主观来源》La prévision: ses lois logiques, ses sources subjectives中系统性地确立了“主观概率”的理论。在20世纪中后期先验被解释为参数的约束条件安德鲁·格尔曼指出先验的解读离不开似然的语境。很多教材也包括数学类教材都把拉姆齐和德菲内蒂的理解当作权威观点却没有加注解、没有说明适用范围、没有指明“这只是众多解释中的一种并且是最具争议的一种”。Richard.O.Duda的《模式分类》是从国外引入的经典教材国内某人誊抄他之后其他人都誊抄这个人的所以只要杜达错了国内的书基本上就都错了。写在后面的话廖老师给我讲贝叶斯理论的时候不管是贝叶斯决策还是贝叶斯参数估计总是一股很霸气的劲儿能果断评判任何人的对错不管这个人是谁是不是经典教材。还不能质疑他否则会被训得很惨。贝叶斯理论可以说是模式识别中的难点不说这个东西能不能实用吧理论很难理解国内某经典教材这部分的内容从根上就错了还没有逻辑也不知道先有鸡还是先有蛋。三年前我讲第一轮课前这部分的内容还只是自己能够模模糊糊理解个大概完全还达不到能给别人讲的水平。廖老师讲了30年有前人带一下果然进步飞速。