热力学基础(六):熵 Entropy——信息熵 · 玻尔兹曼分布 · 热力学第三定律

第 13 章 · 阅读资料 | 对应幻灯片 PPT 第 1–24 页(slide_10.html)
不确定度伯努利分布香农熵 $H=-\sum p_i\ln p_i$ 比特 · 奈特 · 哈特信息量 = 负熵配分函数 · Sackur–Tetrode 做功与传热的微观图像热力学第三定律

本讲导读对应 PPT 第 1–2 页

上一讲建立了 $S=k\ln\Omega$——熵度量分子运动的无序程度。本讲换一个角度:用概率度量 一个随机事件的不确定程度。不确定性越大,消除它所需要的信息越多——由此进入信息熵的世界。

视角转换

同一个数学结构(概率的对数求和)在热力学里叫熵,在通信工程里叫信息量——这是本讲的主线。

学习目标
  1. 会写伯努利分布的信息熵;掌握香农熵 $H=-\sum_i p_i\ln p_i$ 及“均匀分布时最大”。
  2. 理解玻尔兹曼熵、吉布斯熵、香农熵三个层次的统一关系 $S=kH$。
  3. 掌握信息单位换算(bit / nat / Hart),理解“状态数翻倍,信息熵加 1 比特”。
  4. 会用天气预报三例计算信息量 = 最大信息熵 − 信息熵,理解“信息量相当于负熵”。
  5. 了解配分函数、Sackur–Tetrode 方程,以及“做功 = 能级改变、传热 = 分布改变”的微观图像。
  6. 掌握热力学第三定律的两种表述及其统计解释。

一、伯努利分布与香农熵对应 PPT 第 3–5 页

1.1 伯努利分布PPT 3

最简单的随机变量:伯努利分布——随机变量 $x$ 只取 $0$ 或 $1$ 两个值:

$$P(x=1)=p, \qquad P(x=0)=1-p$$

例如:抛一次硬币(正面/反面)、明天“下雨/不下雨”、一次通信中“收到/收错”。

1.2 香农熵(信息熵)PPT 4

1948 年,贝尔实验室的香农(C. E. Shannon,1916—2001,美)发表《通讯的数学原理》(1949 年《噪声下的通信》),创立信息论:

香农熵(信息熵)
$$H=-\sum_i p_i\,\ln p_i \qquad (\text{或以 2 为底:} H=-\sum_i p_i\,\mathrm{lb}\,p_i)$$

各概率相等(均匀分布)时信息熵最大:$H_{\max}=\ln n$($n$ 为状态数)。

1.3 香农熵与玻尔兹曼熵PPT 5

玻尔兹曼熵香农熵
适用对象孤立系统:能量守恒、各态遍历(等概率)一般概率分布
公式$S=k\ln\Omega$$H=-\sum_i p_i\ln p_i$

若 $\Omega$ 个微观态等概率出现($p_i=1/\Omega$),则

$$H=-\sum_{i=1}^{\Omega}\frac{1}{\Omega}\ln\frac{1}{\Omega}=\ln\Omega \qquad\Longrightarrow\qquad S=k\ln\Omega=kH$$
关系

等概率情形下玻尔兹曼熵就是以 $k$ 为单位度量的香农熵。

二、状态数与信息熵对应 PPT 第 6–10 页

2.1 最大状态数:4 粒子的分配PPT 6

4 个粒子 $A、B、C、D$($N=4$)分配到两个子气缸($a_1$ 存 0 元、$a_2$ 存 1000 元), 只按“每个子缸里有哪些粒子”计状态:

子缸 $a_1$ 中的粒子数01234
状态数14641

状态总数 $=16=2^4$。粒子均分(2-2)时状态数最大(6)——无序度最高;全部挤在一缸(0-4)时状态数最少——有序度最高。 把两缸想成“穷/富”两个账户:贫富悬殊是高度有序的低概率态,均匀混合才是最概然态。

2.2 三种熵的层次PPT 7

层次适用条件公式
香农熵(信息论)任意概率分布,无量纲$H=-\sum_i p_i\ln p_i$
吉布斯熵(统计物理)封闭系统,能量可变,一般分布$S=-k\sum_i p_i\ln p_i$
玻尔兹曼熵(特例)孤立系统,能量守恒,等概率$S=k\ln\Omega$

以上页 2-2 分布为例:6 个微观态等概率($p_i=1/6$),代入吉布斯熵公式同样得到 $S=k\ln 6$。

2.3 单位换算与 1 BytePPT 8–10

对数的底单位换算
2比特(binary unit,bit)—
e奈特(natural unit,nat)1 奈特 = 1.44 比特
10哈特(Hart unit)1 哈特 = 3.32 比特

单位只差一个常数因子:$\ln x=\ln 2\times\mathrm{lb}\,x$,故 $1\,\text{nat}=1/\ln2\approx1.44\,\text{bit}$。

状态数翻倍,信息熵加 1 比特:等概率 $n$ 态系统 $H=\mathrm{lb}\,n$——4 态(00、01、10、11,各 $P=1/4$)$H=2$ 比特;8 态 $H=3$ 比特。“比特”的含义:一个二选一的答案值 1 比特。

思考 2 Bytes 存储的信息量是 1 Byte 的 2 倍吗?
答

是。状态数按指数相乘($2^{16}/2^8=2^8=256$ 倍),但信息量按对数相加:$16-8=8$ 比特,恰为 2 倍。1 Byte = 8 bit,可存 $2^8=256$ 个状态——这正是信息用对数度量的便利之处。

三、信息量:天气预报三例对应 PPT 第 11–15 页

对二选一事件(两种结果),以 2 为底计:最大信息熵 = 1 比特。定义

$$\text{信息量} = \text{最大信息熵} - \text{信息熵}$$
预报信息熵 $H$信息量解读
50% / 50%PPT 11 $-0.5\,\mathrm{lb}\,0.5\times2=1$ 比特 $1-1=0$ “各一半”没有消除任何不确定性——听完预报毫无收获
100% / 0%PPT 12 $-1\times\mathrm{lb}\,1=0$ 比特 $1-0=1$ 确定的断言把不确定性全部消除——得到整整 1 比特
80% / 20%PPT 13 $-0.8\,\mathrm{lb}\,0.8-0.2\,\mathrm{lb}\,0.2\approx0.722$ 比特 $1-0.722=0.278$ 分布偏离均匀,信息熵变小,同样一句话包含的信息量变大
信息量相当于负熵PPT 14

信息熵 $\sigma$ 的减少,意味着信息量的增加——信息量相当于负熵(布里渊:negentropy)。获取信息就是消除不确定性、降低信息熵——与热力学“孤立系统熵不减”形成有趣对照。

延伸思考(信息时代的热力学)PPT 14–15
  • 信息到底是什么?不同类型信息的区别?
  • 认知升级的本质是消除信息熵?
  • 互联网时代信息的传递方式;信息消费方式改变对人的影响;
  • 如何理解并应对「信息爆炸」?(可观看信息论入门科普视频)

四、三种熵的统一与热力学的微观图像对应 PPT 第 16–21 页

4.1 玻尔兹曼分布与配分函数PPT 17

温度为 $T$ 的平衡态下,粒子处于能级 $\varepsilon_i$ 的概率服从玻尔兹曼分布:

$$p_i=\frac{e^{-\varepsilon_i/kT}}{Z}, \qquad Z=\sum_i e^{-\varepsilon_i/kT}$$

$Z$ 称为配分函数(Partition function)——它“分配”总概率 1 到各能级上,是计算一切热力学量的枢纽。 对于理想气体,$\varepsilon$ 取平动能级 $\varepsilon=(p_x^2+p_y^2+p_z^2)/2m$,积分即得麦克斯韦速度分布。

4.2 Sackur–Tetrode 方程PPT 18

把玻尔兹曼分布代入 $S=-k\sum p_i\ln p_i$,对 $N$ 粒子理想气体(计入量子化的相空间体积 $h^3$):

$$S=Nk\left[\ln\!\bigg(\frac{V}{N}\Big(\frac{4\pi m U}{3Nh^2}\Big)^{3/2}\bigg)+\frac{5}{2}\right]$$
  • 单原子理想气体的熵完全由宏观量 $N、V、U$(即 $T$)决定;
  • 由此可严格算出绝热过程方程与各热力学量——统计力学“从微观到宏观”的典范;
  • 公式中 $\ln V/N$ 的结构正是熵广延性(粒子不可分辨)的要求。

4.3 做功与传热:能级与分布PPT 19–21

类比:资金的两种变化方式

系统的“资金”就是内能 $U$:既可以通过“汇率的改变”,也可以通过“资金的转移”来变化。

方式微观变化类比
做功能级改变(如压缩改变 $\varepsilon_i$),各能级上分布不变汇率变了,各账户钱数没变
传热(传熵)能级不变,各能级上的分布改变汇率没变,钱在账户间转移
第一定律的微观表述
$$\mathrm{d}U=\delta Q+\delta A$$

内能的变化 = 分布改变(热)+ 能级改变(功)。传热伴随熵的转移,故称“传熵”。

五、热力学第三定律对应 PPT 第 22–23 页

能斯特热定理(1906)

凝聚系统在等温过程中的熵变随热力学温度趋于零:$\displaystyle\lim_{T\to0}\Delta S=0$。

由此推论(普朗克,1911):温度趋于绝对零度时,纯物质完美晶体的熵趋于零:

$$S\to 0 \qquad (T\to 0\ \text{K})$$

这也意味着绝对零度只能无限逼近、不能达到——热力学第三定律的另一种表述。

统计解释:由 $S=k\ln\Omega$,$T\to0$ 时粒子全部落到最低能级,$\Omega\to1$,故 $S\to0$——第三定律是熵的统计解释在低温极限的自然结果。

  • 第三定律为熵的绝对值(规定熵)提供了零点;
  • 化学中标准摩尔熵 $S_m^{\circ}$(298 K)由量热数据自 $T=0$ 积分而来;
  • 低温物理:接近 0 K 时热容趋于零(德拜 $T^3$ 律),比热趋于零使降温愈发困难。

六、本讲小结

层次核心内容关键公式 / 结论
香农熵 不确定度的度量;均匀分布时最大 $H=-\sum p_i\ln p_i$;$H_{\max}=\ln n$
三种熵的统一 香农(信息)→ 吉布斯(一般分布)→ 玻尔兹曼(等概率) 等概率下 $S=kH$
信息单位 bit / nat / Hart;状态数翻倍加 1 比特 1 nat = 1.44 bit;1 Hart = 3.32 bit
信息量 最大信息熵 − 信息熵;相当于负熵 50/50 → 0;100/0 → 1;80/20 → 0.278
玻尔兹曼分布 平衡态能级占据概率;配分函数是枢纽 $p_i=\dfrac{e^{-\varepsilon_i/kT}}{Z}$
Sackur–Tetrode 理想气体熵的微观严格表达式 $S=Nk[\ln(\frac{V}{N}(\cdots)^{3/2})+\frac52]$
做功与传热 做功 = 能级改变、分布不变;传热 = 分布改变 $\mathrm{d}U=\delta Q+\delta A$ 的微观含义
第三定律 $T\to0$ 完美晶体熵 → 0;绝对零度不可达 $\lim_{T\to0}\Delta S=0$;$\Omega\to1$
课程回顾

至此第 13 章完成:从第一定律的能量账本,到循环与效率,到第二定律与熵,最后到熵的统计本质与信息。 热学的三条定律各送给我们一个态函数——$T$、$U$、$S$——它们共同构成宏观热现象的完整框架。

附:PPT 页码对照表点击页码可跳到对应幻灯片

下表把本讲幻灯片(slide_10.html,共 23 页)与 PPT 页码对应。源 PPT 第 22 页为空页,未建。

PPT主题对应本资料
1封面:熵 Entropy本讲导读
2不确定度 Uncertainty本讲导读
3伯努利分布1.1
4香农熵(信息熵)1.2
5香农熵与玻尔兹曼熵的关系1.3
6最大状态数(4 粒子)2.1
7玻尔兹曼熵、吉布斯熵、香农熵2.2
8信息熵的测度单位与换算2.3
9状态数翻倍:加 1 比特2.3
101 Byte 能存储多少信息2.3 思考
11信息量例一:50% / 50%三
12信息量例二:100% / 0%三
13信息量例三:80% / 20%三
14信息量相当于负熵三
15信息论入门视频三
16香农熵、玻尔兹曼熵与克劳修斯熵(章节页)四
17一、玻尔兹曼分布4.1
18二、理想气体的信息熵(Sackur–Tetrode)4.2
19演示:平衡态的统计图像4.2
20三、做功:能级改变、分布不变4.3
21传热:能级不变、分布改变4.3
23四、热力学第三定律五
24热力学第三定律(续)五