百里路  /  信息论 № 010
LESSON 010 · INFORMATION THEORY

香农熵

Shannon Entropy · information is the resolution of uncertainty
提出者
克劳德·香农
年份
1948
领域
信息论 · 通信
原著
《通信的数学理论》
一 缘起 · 给"信息"称重 ORIGIN

1948 年，贝尔实验室一位 32 岁的工程师克劳德·艾尔伍德·香农（Claude Elwood Shannon，1916–2001）在《贝尔系统技术杂志》上分两期发表了一篇 79 页的论文——《通信的数学理论》（A Mathematical Theory of Communication）。这篇文章几乎是凭空开创了一整门学科：信息论。

在此之前，"信息"是个模糊的、文学性的词。电报、电话、无线电工程师们每天都在传输信息，却没人能回答一个最基础的问题：一条消息到底含有"多少"信息？信息能像重量、长度一样被度量吗？

香农的天才在于，他先做了一件极反直觉的事——把"意义"彻底剥离。一条消息说的是"我爱你"还是一串随机乱码，在他眼里信息量可能完全相同。他要度量的不是消息的价值，而是消息消除了多少不确定性。由此他定义了一个量，并借统计力学之名，称它为熵（entropy）。

"熵"这个名字据传来自冯·诺依曼的建议。香农回忆，冯·诺依曼对他说：叫它熵吧——理由有二，一是你的公式和统计力学里的熵长得一模一样；二是"没人真正搞懂熵是什么，所以辩论时你永远占上风"。这半是玩笑的命名，日后引发了几十年关于"信息熵与热力学熵是否同一回事"的争论。

二 原典 THE PRIMARY TEXT
SHANNON · 1948
通信的根本问题，是在一点精确或近似地复现在另一点选定的消息。这些消息往往是有意义的……但消息的语义层面与工程问题无关。重要的是：实际的消息，是从一个可能消息的集合中选出的一个。

若一个事件发生的概率为 p，则它携带的信息量为 −log p；一个信源平均每个符号的信息量，即为
H = −Σ pi log pi
以 2 为底时，单位为比特（bit）。H 度量了该信源的不确定性、选择的自由度、或曰熵。
——《通信的数学理论》（1948）

这段定义里藏着三块基石：第一，信息的本质是"从一堆可能性里做选择"——可能性越多、越均匀，选择越难，信息量越大；第二，小概率事件携带更多信息（−log p 随 p 变小而增大），意外才是信息；第三，语义被明确排除在外——香农反复强调，工程上"信息"与"意义"是两码事。这第三点，是后世最常被误解、也最值得反复咀嚼的一句。

三 释义 · 信息是被消除的"惊讶" PLAIN MEANING

剥去公式，香农熵讲的其实是一句大白话：信息，就是不确定性的减少量。一条消息告诉你的东西如果你早就知道，它的信息量是零；它越出乎你的意料，信息量越大。

用"猜数字"来体会最直接。我心里想了一个 1 到 64 之间的整数，你来猜。最笨的办法是一个个问"是 1 吗？是 2 吗？"；聪明的办法是二分法——"大于 32 吗？""大于 16 吗？"每一问都把可能性砍掉一半。64 种可能，恰好 6 次是／否就能锁定答案。这个"6"，就是 log₂64 = 6 比特——一个均匀分布在 64 种可能里的信源的熵。

所以香农熵既是不确定性的度量，也是压缩极限的度量：一个信源的熵 H，就是"平均每个符号最少需要多少比特才能无损表示"的下界。冗余越多的东西越好压，纯随机的东西压不动——因为后者每个比特都已是满载的信息。

"信息是对惊奇的度量，不是对意义的度量。一页写满随机字符的纸，香农熵比一页莎士比亚还高——这正是这个理论最深刻、也最容易被误读的地方。"
四 后人之论 LATER INTERPRETATIONS
诺伯特·维纳 NORBERT WIENER · 1948

就在香农论文发表的同年，维纳出版《控制论》（Cybernetics），独立从另一条路逼近了信息的度量。他把信息看作"负熵"（negentropy）——系统对抗混乱、维持秩序的能力。"信息就是信息，既不是物质也不是能量。"这句名言出自维纳。

香农与维纳路径不同：维纳关心反馈与控制，香农关心传输与编码。但二人共同把"信息"从哲学词汇变成了可计算的物理量，奠定了整个信息时代的语言。

沃伦·韦弗 WARREN WEAVER · 1949

韦弗为香农论文撰写了通俗导读，二者合成单行本《通信的数学理论》（1949）。他提出通信的三个层次：技术层（符号能否准确传输）、语义层（符号能否传达意图）、效果层（意图能否改变行为）。

韦弗坦言：香农只解决了第一层，但他乐观地认为第一层的数学会"出乎意料地"照亮后两层。这个区分至今提醒我们：能精确传输的，未必就被理解；能被理解的，未必能改变什么。

E.T. 杰恩斯 E.T. JAYNES · 1957

物理学家杰恩斯在《信息论与统计力学》（Physical Review, 1957）中给出了惊人一击：他证明统计力学可以从信息论中重新推导出来。热力学熵不过是"在已知约束下，对微观状态最大无知"的香农熵。

由此他提出"最大熵原理"——在缺乏信息时，应选择满足已知约束、同时熵最大（即假设最少、最不武断）的那个概率分布。这成为现代统计推断与机器学习的一块基石。

罗尔夫·兰道尔 ROLF LANDAUER · 1961

IBM 物理学家兰道尔把信息熵牢牢钉回了物理世界。他提出兰道尔原理：擦除 1 比特信息，至少要耗散 k·T·ln2 的热量。信息不是抽象的，处理它要付出真实的能量代价。

这条原理最终解开了困扰物理学近百年的"麦克斯韦妖"悖论——妖看似能凭信息违反热力学第二定律，但它记录与擦除信息所付的熵代价，恰好补平了账。"信息是物理的"，兰道尔如是说。

五 案例 · 熵如何塑造现实 CASE STUDIES
CASE 01 摩尔斯电码的直觉 1838

早在香农一百年前，萨缪尔·摩尔斯设计电码时就凭直觉踩中了熵的核心：给最常用的字母分配最短的码。英文里出现频率最高的 E 是一个"点"，罕见的 Q、Z 则是长长的点划组合。摩尔斯据说是跑到印刷厂数铅字盒里每个字母的存量来估算频率的。

这正是香农信源编码定理的雏形——高频低信息的符号用短码，低频高信息的符号用长码，整体逼近熵下界。一个工程直觉，等了 110 年才被数学证明为最优方向。
CASE 02 哈夫曼编码 · 学生胜过老师 1951

麻省理工的研究生大卫·哈夫曼被导师罗伯特·法诺出了道期末难题：找出最优的前缀编码。法诺自己（与香农）只找到了近似解。哈夫曼苦思后想放弃，却在丢笔记的瞬间灵光乍现——从频率最低的两个符号开始，自底向上合并成树。1952 年他发表的哈夫曼编码，被证明是最优的。

哈夫曼编码至今仍活在 JPEG、MP3、ZIP、PNG 里。一个被逼到墙角的学生，给出了逼近香农熵极限的具体算法——理论与工程在这里完美会合。
CASE 03 香农亲测英语的熵 1951

香农在《印刷英语的预测与熵》（1951）中做了个朴素实验：让人逐字母猜一段被遮住的英文，根据猜中难度估算英语的熵。结论是英语每个字母约携带 1 比特有效信息，而 26 个字母理论上可达 4.7 比特——英语约有 75% 是冗余的。

"u cn rd ths wtht vwls"（你能读懂这句没有元音的话）正是冗余的体现。冗余看似浪费，却是抗噪与纠错的本钱——这一洞见直接通向下一个案例。
CASE 04 旅行者号 · 逼近香农极限 1977 – 至今

1977 年发射的旅行者号探测器，要把信号从数十亿公里外传回地球，功率微弱到以"皮瓦"计，淹没在宇宙噪声里。靠的正是香农有噪信道编码定理所许诺的纠错码——里德-所罗门码叠加卷积码，给数据加上精心设计的冗余，使误码可在接收端被修复。

香农 1948 年证明：只要传输速率低于信道容量 C，就存在编码方案让错误率趋近于零。这曾被认为不可思议。半个世纪的编码进步（直到 1990 年代的 Turbo 码、LDPC 码）才真正逼近这条理论极限——今天 5G、Wi-Fi、深空通信都站在它之上。
CASE 05 大语言模型的"困惑度" 2018 – 至今

今天训练语言模型用的交叉熵损失，本质就是香农熵的直系后裔。模型对下一个词预测得越准，交叉熵越低；衡量模型好坏的"困惑度"（perplexity）= 2 的交叉熵次方，正是"模型平均面对多少种等可能选择"的度量。

"压缩即智能"的当代论断（一个能极致压缩文本的模型，必然理解了文本的结构）直接源自香农：熵是压缩的下界，逼近这个下界，就意味着抓住了数据中所有的规律。从摩尔斯到 GPT，是同一条线。
六 反例与限制 CRITIQUE & LIMITS

香农熵是 20 世纪最坚实的理论之一，几乎没有"被证伪"的余地。但它有清晰的适用边界，越界使用就会出错——下面几条尤其要记牢：

① 熵度量惊奇，不度量意义这是最根本、也最常被违反的一条。香农本人明确把语义排除在外。一段随机噪声的熵比一首诗高，但显然毫无价值。把"信息量大"等同于"重要"或"有价值"，是对这个理论最普遍的误用。
② 需要已知概率分布公式 H=−Σp·log p 要求你先知道每个事件的概率 p。但现实中分布常常未知、且随时间漂移（非平稳）。对一次性的、独一无二的事件，"概率"本身就难以定义，熵也就无从谈起。
③ 与热力学熵"形似"但须谨慎冯·诺依曼的命名埋下了几十年混乱。二者数学形式相同、在杰恩斯框架下深刻相通，但把信息熵和热力学熵不加区分地混为一谈，会推出大量似是而非的玄学结论。它们是类比，不是等同。
④ 只管平均，不管个体香农熵是整个信源的平均不确定性。它说不出"这一条具体消息"的复杂度——那是柯尔莫哥洛夫复杂度（算法信息论）要回答的问题。两套理论互补，但不可替代。
⑤ 假设信源与字母表是良定义的"把世界切成离散符号"这个前提，对文本、信号很自然，对许多真实现象（一幅画的信息？一个决定的信息？）却相当勉强。切分方式一变，熵就变——它度量的始终是你的模型，而非世界本身。

所以用香农熵的正确姿势是：当你能把问题表述成"从一组已知概率的可能性中做选择"时，它精确无比；一旦涉及意义、价值、或一次性事件，就该换工具。混淆"惊奇"与"意义"，是信息时代最昂贵的认知错误之一。

七 相关理论网络 CONNECTIONS
热力学熵
Thermodynamic Entropy · Boltzmann
⟶ 同源类比
玻尔兹曼 S=k·logW 与香农 H 数学同形。杰恩斯证明前者是后者的特例。
柯尔莫哥洛夫复杂度
Kolmogorov Complexity
⟹ 互补 · 个体版
单条消息的"最短程序长度"。香农管平均，柯氏管个体，二者深层相通。
兰道尔原理 / 麦克斯韦妖
Landauer's Principle
⟷ 物理桥接
擦 1 比特至少耗 kT·ln2 热。把信息熵钉回物理世界，解开麦妖悖论。
互信息
Mutual Information
∥ 同体系
两变量共享的信息量。"知道X能减少多少对Y的不确定"，特征选择的核心。
KL散度 / 交叉熵
KL Divergence · Cross-Entropy
⟸ 机器学习对应
两个分布的"信息距离"。今天几乎所有分类模型的损失函数都是它。
最大熵原理
Maximum Entropy · Jaynes
⟹ 推断方法
无信息时选熵最大（假设最少）的分布。从统计力学到自然语言处理。
贝叶斯更新
Bayesian Updating
⟷ 互补视角
"信息=消除不确定"的另一面：每条证据按其信息量更新先验。
奥卡姆剃刀
Occam's Razor
⟺ 哲学对照
"最短描述优先"=最小熵编码。信息论给了古老剃刀一个量化版本。
八 致用 APPLICATION

香农熵不只是工程师的工具。它给了我们一副重新看待"信息"的眼镜——而在一个信息过载的时代，这副眼镜价值连城。

高效提问
学会问"信息量最大"的问题——像二分法，每问消除一半不确定性。诊断问题、调试代码、做尽调时，优先问那些无论答案是是是否都能大幅缩小范围的问题，而不是反复确认你已经倾向相信的事。
学习排序
从你最不确定的地方学起，信息增益最大。已经八成懂的内容再读，熵接近零、收获寥寥；硬啃那两成最困惑的，才是单位时间收益最高的学习。追着困惑走，别追着舒适走。
沟通与冗余
香农告诉我们：冗余是抗噪的代价，不是浪费。重要的信息要在嘈杂环境里重复、换说法、给上下文——这正是"纠错码"的人际版。但也要警惕：全是冗余的沟通（车轱辘话）信息量为零。
对抗信息过载
区分"惊奇度"与"价值"。新闻、推送、热搜专门制造高熵的意外感来攫取注意力，但高信息量 ≠ 高重要性，最随机的噪声熵恰恰最高。真正稀缺的不是信息，是判断信息价值的能力。
写作与表达
可预测的内容信息量低——意外性才承载信息。陈词滥调让读者零惊讶、零收获；好的表达在"可理解"与"出乎意料"之间走钢丝。每一句都该让读者知道一点他原本不知道的东西，否则就是冗余。
九 反观三问 THREE QUESTIONS
我今天接收的海量信息里，有多少真正消除了不确定性，又有多少只是已知事物的冗余重复、徒增焦虑？
我提问、做决策、找信息时，是问在了"能最大消除不确定性"的地方（像二分法），还是在反复确认我早已倾向相信的答案？
我有没有把"信息量大"误当成"重要"——被最意外、最刺激、其实熵最高的噪声，悄悄夺走了注意力？
十 延伸阅读 FURTHER READING
← PREVIOUS №009 米尔格拉姆服从实验 HOME 百里路