大学物理 · 热力学基础
课程首页/ 阅读资料/ 第 10 讲
信息熵 · 玻尔兹曼分布 · 热力学第三定律

熵 Entropy

第 13 章 热力学基础(六)· 不确定度 · 香农熵 · 玻尔兹曼分布 · 热力学第三定律
大学物理 · 第 10 讲 | 对应 PPT 第 1–24 页
第 13 章PPT 第 02 页

不确定度 Uncertainty

上一讲建立了熵的统计解释:$S = k\, \ln\, \Omega$,熵度量分子运动的无序程度。

本讲把“无序程度”换一个角度来度量——用概率。一个随机事件的不确定程度越大,消除它所需要的信息越多。由此进入信息熵的世界。

视角转换同一个数学结构(概率的对数求和)在热力学里叫熵,在通信工程里叫信息量——这就是本讲的主线。
§信息熵PPT 第 03 页

伯努利分布 Bernoulli distribution

最简单的随机变量:伯努利分布——随机变量 $x$ 只取 $0$ 或 $1$ 两个值:

$$P(x=1) = p$$
$$P(x=0) = 1 - p$$

例如:抛一次硬币(正面/反面)、明天“下雨/不下雨”、一次通信中“收到/收错”。

伯努利分布:两点分布的概率
伯努利分布:两点分布的概率
伯努利分布的信息熵
伯努利分布的信息熵
§信息熵PPT 第 04 页

香农熵(信息熵)Shannon entropy

1948 年,贝尔实验室的香农(C. E. Shannon,1916—2001,美)发表《通讯的数学原理》(1949 年《噪声下的通信》),创立信息论。

香农熵(信息熵)对取值为 $x_1, x_2, \ldots$、概率为 $p_1, p_2, \ldots$ 的随机变量,信息熵定义为
$$H = - \sum_i p_i \ln p_i \quad (或 \ \sum_i p_i \ln p_i \to 取负号)$$

各概率相等(均匀分布)时信息熵最大:$H_{\max} = \ln n$($n$ 为状态数)。

克劳德·香农(C. E. Shannon,1916—2001)
克劳德·香农(C. E. Shannon,1916—2001)
《通讯的数学原理》(1948)
《通讯的数学原理》(1948)
§信息熵PPT 第 05 页

香农熵与玻尔兹曼熵的关系

玻尔兹曼熵
孤立系统,能量守恒,各态遍历(等概率)假说:
$S = k\, \ln\, \Omega$
香农熵
一般概率分布:
$H = -\sum_i p_i \ln p_i$

若 $\Omega$ 个微观态等概率出现($p_i = 1/\Omega$),则

$$H = -\sum_{i=1}^{\Omega} \frac{1}{\Omega}\ln\frac{1}{\Omega} = \ln\, \Omega$$
关系等概率情形下 $S = k\, \ln\, \Omega = k\, H$——玻尔兹曼熵就是以 $k$ 为单位度量的香农熵。
§信息熵PPT 第 06 页

最大状态数(不考虑约束条件)

4 个粒子 $A、B、C、D$($N = 4$)分配到两个子气缸($a_1$ 存 0 元、$a_2$ 存 1000 元)。只按“每个子缸里有哪些粒子”计状态:

子缸 $a_1$ 中的粒子数01234
状态数14641

状态总数 $= 1+4+6+4+1 = 16 = 2^4$。粒子在两缸间均分(2-2)时状态数最大(6)——无序度最高;全部挤在一缸(0-4)时状态数最少——有序度最高。

类比把两缸想成“穷/富”两个账户:贫富悬殊是高度有序的低概率态,均匀混合才是最概然态。
§信息熵PPT 第 07 页

玻尔兹曼熵、吉布斯熵、香农熵

玻尔兹曼熵(孤立系统)
能量守恒、各态遍历(等概率假说):
$S = k\, \ln\, \Omega$
吉布斯熵(封闭系统)
能量可变,各微观态概率不必相等:
$S = -k\, \sum_i p_i \ln p_i$

以上页 2-2 分布为例,6 个微观态(0-AB/1000-CD、0-AC/1000-BD、$\ldots$)等概率,$p_i = 1/6$,代入吉布斯熵公式同样得到 $S = k\, \ln 6$。

三个层次香农熵 $H$(信息论,无量纲)→ 吉布斯熵 $-k\sum p_i\ln p_i$(统计物理,一般分布)→ 玻尔兹曼熵 $k\ln\, \Omega$(等概率特例)。
§信息熵PPT 第 08 页

信息熵的测度单位及其换算关系

信息熵中对数取不同底,单位不同:

对数的底单位换算
2比特(binary unit,bit)—
e奈特(natural unit,nat)1 奈特 = 1.44 比特
10哈特(Hart unit,Hart)1 哈特 = 3.32 比特

单位只差一个常数因子:$\ln x = \ln 2 \times \lb x$($\lb$ 表示以 2 为底的对数),故 $1\, \text{nat} = 1/\ln 2 \approx 1.44\, \text{bit}$。

§信息熵PPT 第 09 页

状态数翻倍:信息熵加 1 比特

等概率 $n$ 态系统的信息熵(以 2 为底):$H = \lb n$。

状态数每翻一倍($\times 2$),信息熵恰好加 1 比特——这就是“比特”作为信息单位的含义:一个二选一的答案值 1 比特。

2 态:1 比特
2 态:1 比特
4 态:2 比特
4 态:2 比特
8 态:3 比特
8 态:3 比特
状态数与信息熵
状态数与信息熵
状态数每翻一倍,信息熵加 1 比特
状态数每翻一倍,信息熵加 1 比特
§信息熵PPT 第 10 页

1 Byte 能存储多少信息?

1 Byte = 8 bit,可存的状态:$0000\, 0000 \sim 1111\, 1111$,共 $2^8 = 256$ 个,信息量 $H = 8$ 比特。

思考

2 Bytes 存储的信息量是 1 Byte 的 2 倍吗?

  • 不是,状态数变为 $2^{16}$,多了 256 倍,信息量也多 256 倍
  • 是。信息量按对数计:$H = \lb 2^{16} = 16$ 比特 $= 2 \times 8$ 比特
答:B。状态数按指数相乘($2^{16}/2^8 = 2^8 = 256$ 倍),但信息量按对数相加:$16\, \text{bit} - 8\, \text{bit} = 8\, \text{bit}$,恰为 2 倍——这正是信息用对数度量的便利之处。
§信息熵PPT 第 11 页

信息量例一:预报 50% / 50%

天气预报员说:明天下雨的概率为 50%,不下雨的概率为 50%——这句话包含多少信息量?

$$H = -0.5\lb 0.5 - 0.5\lb 0.5 = \lb 2 = 1 \text{ bit}$$

信息量 = 最大信息熵 − 信息熵 = $1 - 1 = 0$。

解读“各一半”的说法没有消除任何不确定性——听完预报,你对明天的判断毫无改进,信息量为零(最大信息熵 1 比特全部保留)。
50% / 50%:信息熵最大
50% / 50%:信息熵最大
天气预报例(一)
天气预报例(一)
§信息熵PPT 第 12 页

信息量例二:预报 100% / 0%

天气预报员说:明天下雨的概率为 100%,不下雨的概率为 0%——这句话包含多少信息量?

$$H = -1 \times \lb 1 - 0 = 0 \text{ bit}$$

信息量 = 最大信息熵 − 信息熵 = $1 - 0 = 1$。

解读确定的断言把不确定性全部消除——听完预报,明天的天气完全确定,得到整整 1 比特信息。
100% / 0%:信息熵为零
100% / 0%:信息熵为零
天气预报例(二)
天气预报例(二)
§信息熵PPT 第 13 页

信息量例三:预报 80% / 20%

天气预报员说:明天下雨的概率为 80%,不下雨的概率为 20%——这句话包含多少信息量?

$$H = -0.8\lb 0.8 - 0.2\lb 0.2 \approx 0.722 \text{ bit}$$

信息量 = 最大信息熵 − 信息熵 = $1 - 0.722 = 0.278$。

小结概率分布越偏离均匀,信息熵越小,同样一句话包含的信息量越大;均匀分布时信息量为零。
80% / 20%:信息熵 0.722
80% / 20%:信息熵 0.722
天气预报例(三)
天气预报例(三)
§信息熵PPT 第 14 页

信息量相当于负熵

信息熵 $\sigma$ 的减少,意味着信息量的增加——信息量相当于负熵。

布里渊(L. Brillouin)“信息是负熵(negentropy)”:获取信息就是消除不确定性、降低信息熵——与热力学中“孤立系统熵不减”形成有趣对照。

延伸思考(信息时代的热力学):

信息熵与信息量
信息熵与信息量
§信息熵PPT 第 15 页

有关信息论入门的视频

推荐观看信息论入门科普视频,直观理解“热力学 + 信息论”的交汇:香农如何把“信息”变成可以计算、可以传输、可以压缩的量。

信息论入门视频推荐
信息论入门视频推荐
§13-6PPT 第 16 页

香农熵、玻尔兹曼熵与克劳修斯熵

一、玻尔兹曼分布与配分函数

二、理想气体的信息熵(Sackur–Tetrode 方程)

三、改变内能的两种方式:做功与传热

四、热力学第三定律

§13-6PPT 第 17 页

一、玻尔兹曼分布

温度为 $T$ 的平衡态下,粒子处于能级 $\varepsilon_i$ 的概率服从玻尔兹曼分布:

$$p_i = \frac{e^{-\varepsilon_i / kT}}{Z}$$
$$Z = \sum_i e^{-\varepsilon_i / kT}$$

$Z$ 称为配分函数(Partition function)——它“分配”总概率 1 到各能级上,是计算一切热力学量的枢纽。

对于理想气体(无相互作用),$\varepsilon$ 取粒子的平动能级 $\varepsilon = (p_x^2+p_y^2+p_z^2)/2m$,积分即得麦克斯韦速度分布。

§13-6PPT 第 18 页

二、理想气体的信息熵

把玻尔兹曼分布代入 $S = -k\, \sum p_i \ln p_i$,对 $N$ 粒子理想气体(计入量子化的相空间体积 $h^3$),得 Sackur–Tetrode 方程:

$$S = Nk \big[\ln\big(\frac{V}{N} \big(\frac{4\pi m U}{3 N h^2}\big)^{3/2}\big) + \frac{5}{2}\big]$$
§13-6PPT 第 19 页

演示:平衡态的统计图像

动画演示:大量粒子在能量重新分配过程中自发趋向最概然分布(玻尔兹曼分布)——熵增在微观图像上的表现。

平衡态的统计图像演示
平衡态的统计图像演示
§13-6PPT 第 20 页

三、改变内能的两种方式(一):做功

类比:资金的两种变化方式系统的“资金”就是内能 $U$;它既可以通过“汇率的改变”,也可以通过“资金的转移”来变化。

做功:改变能级(如压缩气体改变 $\varepsilon_i$),而各能级上的分布不变——相当于汇率变了,各账户的钱数(粒子数)没变。

做功:能级改变、分布不变(一)
做功:能级改变、分布不变(一)
做功:能级改变、分布不变(二)
做功:能级改变、分布不变(二)
§13-6PPT 第 21 页

改变内能的两种方式(二):传热

传热(传熵):能级不变(体积不变),但各能级上的分布改变——相当于汇率没变,钱在账户之间转移。

第一定律的微观表述$\mathrm{d}U = \delta Q + \delta A$:内能的变化 = 分布改变(热)+ 能级改变(功)。
传热:能级不变、分布改变(一)
传热:能级不变、分布改变(一)
传热:能级不变、分布改变(二)
传热:能级不变、分布改变(二)
§13-6PPT 第 22 页

四、热力学第三定律

能斯特热定理(1906)凝聚系统在等温过程中的熵变随热力学温度趋于零:$\lim_{T \to 0} \Delta S = 0$。

由此推论(普朗克,1911):温度趋于绝对零度时,纯物质完美晶体的熵趋于零,

$$S \to 0 \quad (T \to 0\, \text{K})$$

这也意味着绝对零度只能无限逼近、不能达到——热力学第三定律的另一种表述。

能斯特热定理
能斯特热定理
热力学第三定律
热力学第三定律
绝对零度不可达
绝对零度不可达
§13-6PPT 第 23 页

热力学第三定律(续)

由 $S = k\, \ln\, \Omega$ 看:$T \to 0$ 时粒子全部落到最低能级,$\Omega \to 1$,故 $S \to 0$——第三定律是熵的统计解释在低温极限的自然结果。

低温下的熵
低温下的熵
热力学第三定律(续)
热力学第三定律(续)
1 / 1

幻灯片目录

← → 翻页 空格 下一页 F 全屏 O / Esc 目录 数字键 1-9 快速跳页