LESSON 023 · PROBABILITY & INFERENCE
贝叶斯定理
Bayes' Theorem · how new evidence should reshape belief
- 提出者
- 托马斯·贝叶斯（理查德·普莱斯整理）
- 年份
- 1763（身后发表）
- 领域
- 数学 · 概率 · 认识论
- 原著
- 《机遇论中一个问题的解》
一
缘起 · 一位牧师抽屉里的遗稿
ORIGIN
托马斯·贝叶斯（Thomas Bayes，约 1701–1761）是英格兰一位长老会牧师，业余研究数学，生前是英国皇家学会会员，却几乎没发表过数学论文。这条以他命名、后来重塑了整个统计学与人工智能的定理，他活着时一行都没有公开。
他真正想解决的，是一个当时被称为"逆概率"（inverse probability）的难题。正向的概率好算：已知一枚硬币是均匀的，问连抛十次全是正面的概率多大——从"原因"推"结果"。但现实里我们面对的恰恰相反：只看见了结果（十次全是正面），要反推原因（这枚硬币到底均不均匀、偏到什么程度）。从effect 倒推 cause，从观测倒推真相——这才是科学、医学、法庭、投资每天真正在做的事。
贝叶斯死后，他的朋友、同为牧师的数学家理查德·普莱斯（Richard Price）整理遗稿时发现了这篇手稿，认为意义重大，于 1763 年提交英国皇家学会，以《机遇论中一个问题的解》（An Essay towards solving a Problem in the Doctrine of Chances）为题发表。普莱斯在引言里说，这套方法甚至可以用来回应休谟对"神迹"的质疑——即如何从有限的证言去评估一件罕见之事的可信度。
真正让这条定理长出血肉的，是法国人拉普拉斯。他在 1774 年独立重新发现了同样的思想，并把它一般化、推广到天文学、人口统计、误差理论——是拉普拉斯而非贝叶斯，写出了我们今天所用的公式形态。所以有人说，"贝叶斯定理"更准确的名字应该是"拉普拉斯定理"。一条定理，挂错了名字两百多年。
二
原典
THE PRIMARY TEXT
贝叶斯没有写下今天课本上那个简洁公式。他用的是一个台球桌的思想实验：先把一个白球随机滚到桌面某处（位置未知），再不断滚动其他球，只告诉你它们落在白球的左边还是右边——问：能否据此反推那个白球的位置？这正是"由观测反推未知参数"的原型。普莱斯在提交时写道：
BAYES & PRICE · 1763
他的目的，是要寻求一种方法：当我们对某一未知事件，只知道它在多次试验中发生了若干次、失败了若干次，由此去估计"它单次发生的概率落在任意两个可指定的程度之间"的可能性有多大。
换成今天的语言，这条定理说的是：
后验概率 ＝ （似然 × 先验概率）／ 证据的总概率
P(H | E) ＝ P(E | H) · P(H) ／ P(E)
——《机遇论中一个问题的解》（1763，普莱斯整理提交）
读懂这个公式只需认清四个角色：H 是你关心的假设（病了／硬币偏了／嫌疑人有罪），E 是你新看到的证据（检测阳性／十连正面／现场指纹）。P(H) 是看到证据之前你对假设的信念，叫先验；P(H|E) 是看到证据之后更新过的信念，叫后验；P(E|H) 是"假如假设为真，这个证据有多容易出现"，叫似然。整条定理只做一件事：把先验，乘上证据带来的信息，变成后验——它是一台"信念更新机"。
三
释义 · 别忘了"原本有多少"
PLAIN MEANING
剥掉公式，贝叶斯定理的灵魂只有一句话：新证据不会推翻旧信念，只会按比例修正它。一个再惊人的检测结果，也要先乘上"这件事原本有多罕见"，才知道它真正意味着什么。最经典的一课，是体检报告：
某种癌症在人群中的患病率是 0.1%（每一千人里有一个真的病了）。有一种筛查，准确率高达 99%——病人测出阳性的概率 99%，健康人测出阴性的概率也 99%。现在你测出了阳性。请问：你真的患癌的概率是多大？
绝大多数人——包括很多医生——脱口而出"99%"。错。正确答案是约 9%。算一遍就懂：假设一万人来检测，真正患病的只有 10 人，其中 9.9 人测出阳性；而健康的 9990 人里，有 1% 即约 100 人会被误报为阳性。于是所有阳性者共约 110 人，其中真病的只有约 9.9 人——9.9 ÷ 110 ≈ 9%。
为什么直觉错得这么离谱？因为人脑只盯着"检测多准"（似然），却忘了"原本有多少病人"（先验）。当一件事足够罕见，哪怕一个很准的信号，被海量"健康但误报"的人稀释后，也变得不那么可靠。这种系统性的错误，心理学称作"基础比率忽视"（base rate neglect）。贝叶斯定理就是治这个病的解药：看到任何惊人证据，先问一句"这件事原本有多大概率"。
"贝叶斯思维的精髓不是算得多精，而是记得要把先验乘进去。一个忘了基础比率的聪明人，会比记得它的笨人错得更自信。"
四
后人之论
LATER INTERPRETATIONS
五
案例 · 从破译密码到打捞残骸
CASE STUDIES
CASE 01
图灵破解恩尼格玛
1939–1945
二战期间，艾伦·图灵在布莱切利园破译德军 Enigma 密码时，发明了一套被称作 "Banburismus" 的方法：把每一条线索当作证据，累加它支持某个猜测的"证据权重"，直到后验概率高到可以下注。他甚至为此自创了信息单位——"ban"（及其十分之一"deciban"）。他的助手 I.J. 古德后来指出，这本质上就是序贯贝叶斯推断。
这套方法在战后被列为机密数十年。换句话说，贝叶斯定理在被学院主流嫌弃的年代，正悄悄在最高机密的战场上拯救生命——理论的冷宫与实战的王座，常常同时发生。
CASE 02
体检阳性的真相
当代医学日常
德国心理学家吉仁泽（Gerd Gigerenzer）做过著名调查：拿乳腺癌筛查的真实数字去问执业医生"阳性者真患病的概率"，大多数人答错，且高估数倍。问题正是基础比率忽视——筛查针对的是低患病率人群，假阳性的绝对数会淹没真阳性。
吉仁泽给出的解药很贝叶斯也很朴素：把概率换成"自然频率"来想（"一千人里……"），医生的正确率立刻飙升。这说明：贝叶斯思维可以训练，关键是换一种表述，逼自己把先验摆上台面。
CASE 03
莎莉·克拉克冤案
1999–2003 · 英国
律师莎莉·克拉克的两个婴儿先后猝死，1999 年她被控谋杀。控方专家梅多（Roy Meadow）作证："一个家庭连续两次婴儿猝死的概率是七千三百万分之一"，陪审团据此定罪。但这个数字错得离谱——它假设两次死亡相互独立（忽视了同一家庭可能存在共同的遗传或环境因素），更犯了"检察官谬误"：把"无辜却发生两次猝死的概率"偷换成了"发生两次猝死却无辜的概率"。
英国皇家统计学会公开抗议这一误用。2003 年定罪被撤销，但克拉克已蒙冤四年，出狱后于 2007 年去世。把 P(证据|无辜) 当成 P(无辜|证据)——这个贝叶斯定理一眼就能纠正的混淆，是会要人命的。
CASE 04
法航 447 残骸搜寻
2009–2011 · 大西洋
2009 年法航 447 航班坠入大西洋，黑匣子定位信标失效，两年三轮搜索一无所获。2011 年，海军作战研究公司 Metron 用贝叶斯搜索理论重做：把洋流、声呐失败、历史失事数据等所有线索折成一张概率热力图，并用每次未找到的结果反过来更新地图。新图把搜索重心移到了之前被忽略的区域——残骸在一周内被找到。
这套方法可追溯到 1968 年海军用贝叶斯搜索定位失踪核潜艇"天蝎号"。它的精髓是把"没找到"也当作证据：每一次扑空都在压低该区域的后验概率，逼概率向真相聚拢。
CASE 05
垃圾邮件过滤器
2002 · 互联网
2002 年，程序员保罗·格雷厄姆发表《一个反垃圾邮件的方案》（A Plan for Spam），提出用"朴素贝叶斯"分类器过滤垃圾邮件：统计每个词在垃圾邮件和正常邮件中出现的频率（似然），再根据一封新邮件里的词组合，更新它"是垃圾"的后验概率。
效果惊人，准确率轻松超过 99%，且能随用户标记不断自学习。这条 18 世纪牧师的定理，就这样成了你邮箱里每天默默工作的卫兵——贝叶斯也是现代机器学习与垃圾识别的第一块基石。
六
反例与限制
CRITIQUE & LIMITS
贝叶斯定理在数学上无懈可击——它就是概率公理的直接推论。它真正的争议，全在"怎么用"上：
① 先验从哪来这是频率学派两百年来最尖锐的一刀。后验 ＝ 似然 × 先验，可那个先验若是凭空拍脑袋设的，garbage in, garbage out——结论再精确也只是把主观偏见洗成了数字。在数据稀少时，先验主宰结论，这是贝叶斯最脆弱的地方。
② 算不动公式优美，可现实中"证据的总概率 P(E)"往往是一个高维积分，几百年里无法手算。贝叶斯长期是"美丽但不可计算"的理论，直到 1990 年代马尔可夫链蒙特卡洛（MCMC）等算法与算力到位，它才真正大规模落地——它的复兴一半是数学，一半是计算机。
③ 顽固的先验会放大偏见如果一个人先验极强、又只肯小幅更新，那么再多反证也撼不动他——这在数学上"正确"，在认识上却成了确认偏误的精致版。贝叶斯能让你理性，也能让顽固变得"有理有据"。
④ 想不到的，更新不到贝叶斯只能在你
预先列出的假设空间内重新分配信念。如果真相是一个你从未设想过的假设，它的先验是零，无论多少证据都乘不出后验——这正是
№004 黑天鹅的盲区：你无法朝一个从未想到的方向更新。
⑤ 最危险的误用：概率谬误把 P(证据|假设) 错当成 P(假设|证据)，是法庭、医学、媒体里反复出现的致命混淆（"检察官谬误"）。莎莉·克拉克案就是血的代价。贝叶斯定理本是纠正它的工具，可一旦被半懂的人拿去当幌子，反而成了冤案的帮凶。
所以用贝叶斯的正确姿势是：把它当作一副"思维的纪律"，而非一台"真理的计算器"——它逼你把信念量化、把先验摆上台面、随证据诚实更新；但它给不出你没想到的假设，也救不了一个被错设的先验。它让你更新得更理性，却不替你决定从哪里出发。
七
相关理论网络
CONNECTIONS
频率学派概率
Frequentist Probability
⟷ 根本对照
概率＝长期频率（客观）vs 概率＝信念程度（贝叶斯）。统计学最深的分歧。
香农熵
Shannon Entropy · №010
∥ 同源互通
KL 散度／交叉熵度量"更新前后信念的差距"；最大熵给贝叶斯选先验。
黑天鹅
Black Swan · №004
⟸ 边界盲区
假设空间外、先验为零的事件，贝叶斯无法朝它更新——更新机器的死角。
奥卡姆剃刀
Occam's Razor · №014
⟹ 内含机制
"贝叶斯奥卡姆因子"——复杂模型把概率摊得太薄，自动受罚，简单者胜出。
第二序思维
Second-Order Thinking · №003
⟹ 互补
都在对抗"被表面证据牵着走"：先想原本有多大概率，再想之后会怎样。
凯利公式
Kelly Criterion · №008
⟶ 决策下游
贝叶斯给出概率，凯利据此决定下注比例——信念到行动的接力。
珀尔贝叶斯网络
Bayesian Networks · Pearl 1988
⟶ 现代延伸
把贝叶斯更新铺成因果图谱，奠定专家系统与因果推断（珀尔 2011 图灵奖）。
大数定律
Law of Large Numbers
∥ 概率基石
数据足够多时，后验会被似然主导、压过先验——贝叶斯与频率派在此握手言和。
八
致用
APPLICATION
贝叶斯定理不是用来算题的，是用来校准信念的。它教你怎样面对一个本质上不确定的世界——既不固执，也不轻信。
更新观点
把信念当成概率而非"是非"：给每个判断标一个心里的可信度，遇到证据按比例调整。理想姿态是"强观点，弱持有"——敢下判断，也随时准备被新证据改写，而不是非黑即白、一锤定音。
看体检与筛查
收到一个吓人的阳性结果，先别崩溃，先问基础比率：这病在我这个人群里原本多罕见？罕见病的初筛阳性，假阳性往往远多于真阳性。正确反应是复查确诊，而不是当场宣判。
评估信息
判断一条新闻／爆料是否可信，要把"信源的可靠度"当先验乘进去：同一句话，出自常年准确的来源和出自标题党，后验天差地别。一个惊人但孤立的说法，先验就该压得很低。
投资与创业
把投资逻辑写成"假设 + 证据"，用新数据持续更新论点，而不是锚定在第一印象。最危险的不是判断错，是错了还不更新。愿意因证据改主意，是贝叶斯型投资者最大的优势。
识别概率谬误
听到任何"这事偶然发生的概率只有几百万分之一"，立刻警觉：说话人是不是把 P(证据|无辜) 当成了 P(无辜|证据)？ 这两者天差地别。学会一眼认出检察官谬误，能让你不被唬人的大数字带偏。
九
反观三问
THREE QUESTIONS
我最近一次"看到证据就改变看法"，是真的按比例更新，还是只挑了支持原有立场的证据、把先验当成了结论？
对我正坚信的某个判断，需要出现什么样的证据，我才愿意放弃它？如果答案是"没有任何证据能让我改变"，那它已经不是信念，而是信仰。
我有没有把某个"原本极罕见"的可能性，因为一个看似有力的信号就当真了——却忘了先乘上它的基础比率？
十
延伸阅读
FURTHER READING
-
T. Bayes & R. Price《An Essay towards solving a Problem in the Doctrine of Chances》
Philosophical Transactions, 1763 — 一切的起点，普莱斯整理提交的原始论文
-
P.-S. Laplace《Théorie analytique des probabilités》
1812 — 拉普拉斯把贝叶斯思想发展成完整体系的奠基之作
-
E. T. Jaynes《Probability Theory: The Logic of Science》
Cambridge University Press, 2003 — 贝叶斯最雄辩的现代辩护，"概率即逻辑的延伸"
-
Sharon Bertsch McGrayne《The Theory That Would Not Die》
Yale University Press, 2011 — 贝叶斯两百年沉浮史，从恩尼格玛到搜寻潜艇，极好读
-
Judea Pearl《Probabilistic Reasoning in Intelligent Systems》
Morgan Kaufmann, 1988 — 贝叶斯网络的开山之作，AI 与因果推断的源头
-
维基百科：Bayes' theorem
en.wikipedia.org/wiki/Bayes'_theorem — 含推导、例子与历史综述
真正的奠基者。拉普拉斯在《论事件的原因的概率》（1774）独立重写并一般化了贝叶斯的思想，又在巨著《概率分析理论》（1812）里把它发展为完整体系，用来计算行星质量、修正天文观测误差、估算法国人口。他著名的"日出问题"——根据太阳已连续升起的天数，估计它明天还会升起的概率——正是贝叶斯更新的范例。
他留下一句概率论的座右铭："概率论，归根结底不过是把常识化成了计算。"
进入 20 世纪，统计学的主流却掉头反对贝叶斯。以费希尔（R.A. Fisher）、奈曼（Neyman）、皮尔逊（Pearson）为代表的"频率学派"认为：概率只能定义为"长期频率"，而贝叶斯那个凭空设定的"先验"太主观——你凭什么说硬币偏的先验是 50%？换个人就换个数。
于是显著性检验、p 值、置信区间成了正统，贝叶斯被贬为"不科学"，在课堂里沉寂了近半个世纪。这场"频率派 vs 贝叶斯派"之争，是统计学史上最深的裂痕。
意大利数学家布鲁诺·德·菲内蒂用一句惊世骇俗的话为贝叶斯辩护——《概率论》开篇即写："概率并不存在。"他的意思是：概率不是世界的客观属性，而是理性主体的信念程度。他用"荷兰赌"（Dutch book）论证：如果你的信念不满足概率公理，赌徒就能设一组赌局让你必输——主观概率也必须自洽。
萨维奇（L.J. Savage）在《统计学的基础》（1954）把它公理化，使"主观贝叶斯"成为决策论的根基。先验主观，不是缺陷，而是诚实。
物理学家杰恩斯在身后出版的《概率论：科学的逻辑》里给贝叶斯最雄辩的现代辩护：借考克斯定理（Cox's theorem）证明，任何满足基本一致性要求的"合理信念系统"，在数学上必然等价于概率论。也就是说——贝叶斯推断不是统计学的一个流派，而是逻辑在不确定性下的唯一自然延伸。
他还把"最大熵原理"接到贝叶斯先验的选择上，与信息论（见 №010 香农熵）打通：在一无所知时，应选熵最大、即假设最少的先验。