熵 Entropy
第 13 章 热力学基础(六)· 不确定度 · 香农熵 · 玻尔兹曼分布 · 热力学第三定律
大学物理 · 第 10 讲 | 对应 PPT 第 1–24 页
第 13 章PPT 第 02 页
不确定度 Uncertainty
上一讲建立了熵的统计解释:$S = k\, \ln\, \Omega$,熵度量分子运动的无序程度。
本讲把“无序程度”换一个角度来度量——用概率。一个随机事件的不确定程度越大,消除它所需要的信息越多。由此进入信息熵的世界。
视角转换同一个数学结构(概率的对数求和)在热力学里叫熵,在通信工程里叫信息量——这就是本讲的主线。
§信息熵PPT 第 03 页
伯努利分布 Bernoulli distribution
最简单的随机变量:伯努利分布——随机变量 $x$ 只取 $0$ 或 $1$ 两个值:
$$P(x=1) = p$$
$$P(x=0) = 1 - p$$
例如:抛一次硬币(正面/反面)、明天“下雨/不下雨”、一次通信中“收到/收错”。
伯努利分布:两点分布的概率
伯努利分布的信息熵
§信息熵PPT 第 04 页
香农熵(信息熵)Shannon entropy
1948 年,贝尔实验室的香农(C. E. Shannon,1916—2001,美)发表《通讯的数学原理》(1949 年《噪声下的通信》),创立信息论。
香农熵(信息熵)对取值为 $x_1, x_2, \ldots$、概率为 $p_1, p_2, \ldots$ 的随机变量,信息熵定义为
$$H = - \sum_i p_i \ln p_i \quad (或 \ \sum_i p_i \ln p_i \to 取负号)$$
各概率相等(均匀分布)时信息熵最大:$H_{\max} = \ln n$($n$ 为状态数)。
克劳德·香农(C. E. Shannon,1916—2001)
《通讯的数学原理》(1948)
§信息熵PPT 第 05 页
香农熵与玻尔兹曼熵的关系
玻尔兹曼熵
孤立系统,能量守恒,各态遍历(等概率)假说:
$S = k\, \ln\, \Omega$
香农熵
一般概率分布:
$H = -\sum_i p_i \ln p_i$
若 $\Omega$ 个微观态等概率出现($p_i = 1/\Omega$),则
$$H = -\sum_{i=1}^{\Omega} \frac{1}{\Omega}\ln\frac{1}{\Omega} = \ln\, \Omega$$
关系等概率情形下 $S = k\, \ln\, \Omega = k\, H$——玻尔兹曼熵就是以 $k$ 为单位度量的香农熵。
§信息熵PPT 第 06 页
最大状态数(不考虑约束条件)
4 个粒子 $A、B、C、D$($N = 4$)分配到两个子气缸($a_1$ 存 0 元、$a_2$ 存 1000 元)。只按“每个子缸里有哪些粒子”计状态:
| 子缸 $a_1$ 中的粒子数 | 0 | 1 | 2 | 3 | 4 |
|---|
| 状态数 | 1 | 4 | 6 | 4 | 1 |
状态总数 $= 1+4+6+4+1 = 16 = 2^4$。粒子在两缸间均分(2-2)时状态数最大(6)——无序度最高;全部挤在一缸(0-4)时状态数最少——有序度最高。
类比把两缸想成“穷/富”两个账户:贫富悬殊是高度有序的低概率态,均匀混合才是最概然态。
§信息熵PPT 第 07 页
玻尔兹曼熵、吉布斯熵、香农熵
玻尔兹曼熵(孤立系统)
能量守恒、各态遍历(等概率假说):
$S = k\, \ln\, \Omega$
吉布斯熵(封闭系统)
能量可变,各微观态概率不必相等:
$S = -k\, \sum_i p_i \ln p_i$
以上页 2-2 分布为例,6 个微观态(0-AB/1000-CD、0-AC/1000-BD、$\ldots$)等概率,$p_i = 1/6$,代入吉布斯熵公式同样得到 $S = k\, \ln 6$。
三个层次香农熵 $H$(信息论,无量纲)→ 吉布斯熵 $-k\sum p_i\ln p_i$(统计物理,一般分布)→ 玻尔兹曼熵 $k\ln\, \Omega$(等概率特例)。
§信息熵PPT 第 08 页
信息熵的测度单位及其换算关系
信息熵中对数取不同底,单位不同:
| 对数的底 | 单位 | 换算 |
|---|
| 2 | 比特(binary unit,bit) | — |
| e | 奈特(natural unit,nat) | 1 奈特 = 1.44 比特 |
| 10 | 哈特(Hart unit,Hart) | 1 哈特 = 3.32 比特 |
单位只差一个常数因子:$\ln x = \ln 2 \times \lb x$($\lb$ 表示以 2 为底的对数),故 $1\, \text{nat} = 1/\ln 2 \approx 1.44\, \text{bit}$。
§信息熵PPT 第 10 页
1 Byte 能存储多少信息?
1 Byte = 8 bit,可存的状态:$0000\, 0000 \sim 1111\, 1111$,共 $2^8 = 256$ 个,信息量 $H = 8$ 比特。
思考2 Bytes 存储的信息量是 1 Byte 的 2 倍吗?
- 不是,状态数变为 $2^{16}$,多了 256 倍,信息量也多 256 倍
- 是。信息量按对数计:$H = \lb 2^{16} = 16$ 比特 $= 2 \times 8$ 比特
答:B。状态数按指数相乘($2^{16}/2^8 = 2^8 = 256$ 倍),但信息量按对数相加:$16\, \text{bit} - 8\, \text{bit} = 8\, \text{bit}$,恰为 2 倍——这正是信息用对数度量的便利之处。
§信息熵PPT 第 11 页
信息量例一:预报 50% / 50%
天气预报员说:明天下雨的概率为 50%,不下雨的概率为 50%——这句话包含多少信息量?
$$H = -0.5\lb 0.5 - 0.5\lb 0.5 = \lb 2 = 1 \text{ bit}$$
信息量 = 最大信息熵 − 信息熵 = $1 - 1 = 0$。
解读“各一半”的说法没有消除任何不确定性——听完预报,你对明天的判断毫无改进,信息量为零(最大信息熵 1 比特全部保留)。
50% / 50%:信息熵最大
天气预报例(一)
§信息熵PPT 第 12 页
信息量例二:预报 100% / 0%
天气预报员说:明天下雨的概率为 100%,不下雨的概率为 0%——这句话包含多少信息量?
$$H = -1 \times \lb 1 - 0 = 0 \text{ bit}$$
信息量 = 最大信息熵 − 信息熵 = $1 - 0 = 1$。
解读确定的断言把不确定性全部消除——听完预报,明天的天气完全确定,得到整整 1 比特信息。
100% / 0%:信息熵为零
天气预报例(二)
§信息熵PPT 第 13 页
信息量例三:预报 80% / 20%
天气预报员说:明天下雨的概率为 80%,不下雨的概率为 20%——这句话包含多少信息量?
$$H = -0.8\lb 0.8 - 0.2\lb 0.2 \approx 0.722 \text{ bit}$$
信息量 = 最大信息熵 − 信息熵 = $1 - 0.722 = 0.278$。
小结概率分布越偏离均匀,信息熵越小,同样一句话包含的信息量越大;均匀分布时信息量为零。
80% / 20%:信息熵 0.722
天气预报例(三)
§信息熵PPT 第 14 页
信息量相当于负熵
信息熵 $\sigma$ 的减少,意味着信息量的增加——信息量相当于负熵。
布里渊(L. Brillouin)“信息是负熵(negentropy)”:获取信息就是消除不确定性、降低信息熵——与热力学中“孤立系统熵不减”形成有趣对照。
延伸思考(信息时代的热力学):
- 信息到底是什么?不同类型信息的区别?
- 认知升级的本质是消除信息熵?
- 互联网时代信息的传递方式;
- 信息消费方式改变对人的影响;
- 如何理解并应对「信息爆炸」?
信息熵与信息量
§信息熵PPT 第 15 页
有关信息论入门的视频
推荐观看信息论入门科普视频,直观理解“热力学 + 信息论”的交汇:香农如何把“信息”变成可以计算、可以传输、可以压缩的量。
信息论入门视频推荐
§13-6PPT 第 16 页
香农熵、玻尔兹曼熵与克劳修斯熵
一、玻尔兹曼分布与配分函数
二、理想气体的信息熵(Sackur–Tetrode 方程)
三、改变内能的两种方式:做功与传热
四、热力学第三定律
§13-6PPT 第 17 页
一、玻尔兹曼分布
温度为 $T$ 的平衡态下,粒子处于能级 $\varepsilon_i$ 的概率服从玻尔兹曼分布:
$$p_i = \frac{e^{-\varepsilon_i / kT}}{Z}$$
$$Z = \sum_i e^{-\varepsilon_i / kT}$$
$Z$ 称为配分函数(Partition function)——它“分配”总概率 1 到各能级上,是计算一切热力学量的枢纽。
对于理想气体(无相互作用),$\varepsilon$ 取粒子的平动能级 $\varepsilon = (p_x^2+p_y^2+p_z^2)/2m$,积分即得麦克斯韦速度分布。
§13-6PPT 第 18 页
二、理想气体的信息熵
把玻尔兹曼分布代入 $S = -k\, \sum p_i \ln p_i$,对 $N$ 粒子理想气体(计入量子化的相空间体积 $h^3$),得 Sackur–Tetrode 方程:
$$S = Nk \big[\ln\big(\frac{V}{N} \big(\frac{4\pi m U}{3 N h^2}\big)^{3/2}\big) + \frac{5}{2}\big]$$
- 单原子理想气体的熵完全由宏观量 $N、V、U$(即 $T$)决定;
- 由此可严格算出单原子气体的绝热过程方程与各热力学量——统计力学“从微观到宏观”的典范。
- 该公式还暗含熵的广延性要求 $\ln V/N$(粒子不可分辨)。
§13-6PPT 第 19 页
演示:平衡态的统计图像
动画演示:大量粒子在能量重新分配过程中自发趋向最概然分布(玻尔兹曼分布)——熵增在微观图像上的表现。
平衡态的统计图像演示
§13-6PPT 第 20 页
三、改变内能的两种方式(一):做功
类比:资金的两种变化方式系统的“资金”就是内能 $U$;它既可以通过“汇率的改变”,也可以通过“资金的转移”来变化。
做功:改变能级(如压缩气体改变 $\varepsilon_i$),而各能级上的分布不变——相当于汇率变了,各账户的钱数(粒子数)没变。
做功:能级改变、分布不变(一)
做功:能级改变、分布不变(二)
§13-6PPT 第 21 页
改变内能的两种方式(二):传热
传热(传熵):能级不变(体积不变),但各能级上的分布改变——相当于汇率没变,钱在账户之间转移。
- 做功 ↔ 能级改变、分布不变(宏观有序能量 ↔ 微观参数);
- 传热 ↔ 能级不变、分布改变(无序能量转移,伴随熵的转移——故称“传熵”)。
第一定律的微观表述$\mathrm{d}U = \delta Q + \delta A$:内能的变化 = 分布改变(热)+ 能级改变(功)。
传热:能级不变、分布改变(一)
传热:能级不变、分布改变(二)
§13-6PPT 第 22 页
四、热力学第三定律
能斯特热定理(1906)凝聚系统在等温过程中的熵变随热力学温度趋于零:$\lim_{T \to 0} \Delta S = 0$。
由此推论(普朗克,1911):温度趋于绝对零度时,纯物质完美晶体的熵趋于零,
$$S \to 0 \quad (T \to 0\, \text{K})$$
这也意味着绝对零度只能无限逼近、不能达到——热力学第三定律的另一种表述。
§13-6PPT 第 23 页
热力学第三定律(续)
由 $S = k\, \ln\, \Omega$ 看:$T \to 0$ 时粒子全部落到最低能级,$\Omega \to 1$,故 $S \to 0$——第三定律是熵的统计解释在低温极限的自然结果。
- 第三定律为熵的绝对值(规定熵)提供了零点;
- 化学中标准摩尔熵 $S_m^{\irc}$(298 K)即由量热数据自 $T = 0$ 积分而来;
- 低温物理:接近 0 K 时热容趋于零(德拜 $T^3$ 律),比热趋于零使降温愈发困难。
低温下的熵
热力学第三定律(续)