本讲导读对应 PPT 第 1–2 页
上一讲建立了 $S=k\ln\Omega$——熵度量分子运动的无序程度。本讲换一个角度:用概率度量 一个随机事件的不确定程度。不确定性越大,消除它所需要的信息越多——由此进入信息熵的世界。
同一个数学结构(概率的对数求和)在热力学里叫熵,在通信工程里叫信息量——这是本讲的主线。
- 会写伯努利分布的信息熵;掌握香农熵 $H=-\sum_i p_i\ln p_i$ 及“均匀分布时最大”。
- 理解玻尔兹曼熵、吉布斯熵、香农熵三个层次的统一关系 $S=kH$。
- 掌握信息单位换算(bit / nat / Hart),理解“状态数翻倍,信息熵加 1 比特”。
- 会用天气预报三例计算信息量 = 最大信息熵 − 信息熵,理解“信息量相当于负熵”。
- 了解配分函数、Sackur–Tetrode 方程,以及“做功 = 能级改变、传热 = 分布改变”的微观图像。
- 掌握热力学第三定律的两种表述及其统计解释。
一、伯努利分布与香农熵对应 PPT 第 3–5 页
1.1 伯努利分布PPT 3
最简单的随机变量:伯努利分布——随机变量 $x$ 只取 $0$ 或 $1$ 两个值:
例如:抛一次硬币(正面/反面)、明天“下雨/不下雨”、一次通信中“收到/收错”。
1.2 香农熵(信息熵)PPT 4
1948 年,贝尔实验室的香农(C. E. Shannon,1916—2001,美)发表《通讯的数学原理》(1949 年《噪声下的通信》),创立信息论:
各概率相等(均匀分布)时信息熵最大:$H_{\max}=\ln n$($n$ 为状态数)。
1.3 香农熵与玻尔兹曼熵PPT 5
| 玻尔兹曼熵 | 香农熵 | |
|---|---|---|
| 适用对象 | 孤立系统:能量守恒、各态遍历(等概率) | 一般概率分布 |
| 公式 | $S=k\ln\Omega$ | $H=-\sum_i p_i\ln p_i$ |
若 $\Omega$ 个微观态等概率出现($p_i=1/\Omega$),则
等概率情形下玻尔兹曼熵就是以 $k$ 为单位度量的香农熵。
二、状态数与信息熵对应 PPT 第 6–10 页
2.1 最大状态数:4 粒子的分配PPT 6
4 个粒子 $A、B、C、D$($N=4$)分配到两个子气缸($a_1$ 存 0 元、$a_2$ 存 1000 元), 只按“每个子缸里有哪些粒子”计状态:
| 子缸 $a_1$ 中的粒子数 | 0 | 1 | 2 | 3 | 4 |
|---|---|---|---|---|---|
| 状态数 | 1 | 4 | 6 | 4 | 1 |
状态总数 $=16=2^4$。粒子均分(2-2)时状态数最大(6)——无序度最高;全部挤在一缸(0-4)时状态数最少——有序度最高。 把两缸想成“穷/富”两个账户:贫富悬殊是高度有序的低概率态,均匀混合才是最概然态。
2.2 三种熵的层次PPT 7
| 层次 | 适用条件 | 公式 |
|---|---|---|
| 香农熵(信息论) | 任意概率分布,无量纲 | $H=-\sum_i p_i\ln p_i$ |
| 吉布斯熵(统计物理) | 封闭系统,能量可变,一般分布 | $S=-k\sum_i p_i\ln p_i$ |
| 玻尔兹曼熵(特例) | 孤立系统,能量守恒,等概率 | $S=k\ln\Omega$ |
以上页 2-2 分布为例:6 个微观态等概率($p_i=1/6$),代入吉布斯熵公式同样得到 $S=k\ln 6$。
2.3 单位换算与 1 BytePPT 8–10
| 对数的底 | 单位 | 换算 |
|---|---|---|
| 2 | 比特(binary unit,bit) | — |
| e | 奈特(natural unit,nat) | 1 奈特 = 1.44 比特 |
| 10 | 哈特(Hart unit) | 1 哈特 = 3.32 比特 |
单位只差一个常数因子:$\ln x=\ln 2\times\mathrm{lb}\,x$,故 $1\,\text{nat}=1/\ln2\approx1.44\,\text{bit}$。
状态数翻倍,信息熵加 1 比特:等概率 $n$ 态系统 $H=\mathrm{lb}\,n$——4 态(00、01、10、11,各 $P=1/4$)$H=2$ 比特;8 态 $H=3$ 比特。“比特”的含义:一个二选一的答案值 1 比特。
是。状态数按指数相乘($2^{16}/2^8=2^8=256$ 倍),但信息量按对数相加:$16-8=8$ 比特,恰为 2 倍。1 Byte = 8 bit,可存 $2^8=256$ 个状态——这正是信息用对数度量的便利之处。
三、信息量:天气预报三例对应 PPT 第 11–15 页
对二选一事件(两种结果),以 2 为底计:最大信息熵 = 1 比特。定义
| 预报 | 信息熵 $H$ | 信息量 | 解读 |
|---|---|---|---|
| 50% / 50%PPT 11 | $-0.5\,\mathrm{lb}\,0.5\times2=1$ 比特 | $1-1=0$ | “各一半”没有消除任何不确定性——听完预报毫无收获 |
| 100% / 0%PPT 12 | $-1\times\mathrm{lb}\,1=0$ 比特 | $1-0=1$ | 确定的断言把不确定性全部消除——得到整整 1 比特 |
| 80% / 20%PPT 13 | $-0.8\,\mathrm{lb}\,0.8-0.2\,\mathrm{lb}\,0.2\approx0.722$ 比特 | $1-0.722=0.278$ | 分布偏离均匀,信息熵变小,同样一句话包含的信息量变大 |
信息熵 $\sigma$ 的减少,意味着信息量的增加——信息量相当于负熵(布里渊:negentropy)。获取信息就是消除不确定性、降低信息熵——与热力学“孤立系统熵不减”形成有趣对照。
- 信息到底是什么?不同类型信息的区别?
- 认知升级的本质是消除信息熵?
- 互联网时代信息的传递方式;信息消费方式改变对人的影响;
- 如何理解并应对「信息爆炸」?(可观看信息论入门科普视频)
四、三种熵的统一与热力学的微观图像对应 PPT 第 16–21 页
4.1 玻尔兹曼分布与配分函数PPT 17
温度为 $T$ 的平衡态下,粒子处于能级 $\varepsilon_i$ 的概率服从玻尔兹曼分布:
$Z$ 称为配分函数(Partition function)——它“分配”总概率 1 到各能级上,是计算一切热力学量的枢纽。 对于理想气体,$\varepsilon$ 取平动能级 $\varepsilon=(p_x^2+p_y^2+p_z^2)/2m$,积分即得麦克斯韦速度分布。
4.2 Sackur–Tetrode 方程PPT 18
把玻尔兹曼分布代入 $S=-k\sum p_i\ln p_i$,对 $N$ 粒子理想气体(计入量子化的相空间体积 $h^3$):
- 单原子理想气体的熵完全由宏观量 $N、V、U$(即 $T$)决定;
- 由此可严格算出绝热过程方程与各热力学量——统计力学“从微观到宏观”的典范;
- 公式中 $\ln V/N$ 的结构正是熵广延性(粒子不可分辨)的要求。
4.3 做功与传热:能级与分布PPT 19–21
系统的“资金”就是内能 $U$:既可以通过“汇率的改变”,也可以通过“资金的转移”来变化。
| 方式 | 微观变化 | 类比 |
|---|---|---|
| 做功 | 能级改变(如压缩改变 $\varepsilon_i$),各能级上分布不变 | 汇率变了,各账户钱数没变 |
| 传热(传熵) | 能级不变,各能级上的分布改变 | 汇率没变,钱在账户间转移 |
内能的变化 = 分布改变(热)+ 能级改变(功)。传热伴随熵的转移,故称“传熵”。
五、热力学第三定律对应 PPT 第 22–23 页
凝聚系统在等温过程中的熵变随热力学温度趋于零:$\displaystyle\lim_{T\to0}\Delta S=0$。
由此推论(普朗克,1911):温度趋于绝对零度时,纯物质完美晶体的熵趋于零:
这也意味着绝对零度只能无限逼近、不能达到——热力学第三定律的另一种表述。
统计解释:由 $S=k\ln\Omega$,$T\to0$ 时粒子全部落到最低能级,$\Omega\to1$,故 $S\to0$——第三定律是熵的统计解释在低温极限的自然结果。
- 第三定律为熵的绝对值(规定熵)提供了零点;
- 化学中标准摩尔熵 $S_m^{\circ}$(298 K)由量热数据自 $T=0$ 积分而来;
- 低温物理:接近 0 K 时热容趋于零(德拜 $T^3$ 律),比热趋于零使降温愈发困难。
六、本讲小结
| 层次 | 核心内容 | 关键公式 / 结论 |
|---|---|---|
| 香农熵 | 不确定度的度量;均匀分布时最大 | $H=-\sum p_i\ln p_i$;$H_{\max}=\ln n$ |
| 三种熵的统一 | 香农(信息)→ 吉布斯(一般分布)→ 玻尔兹曼(等概率) | 等概率下 $S=kH$ |
| 信息单位 | bit / nat / Hart;状态数翻倍加 1 比特 | 1 nat = 1.44 bit;1 Hart = 3.32 bit |
| 信息量 | 最大信息熵 − 信息熵;相当于负熵 | 50/50 → 0;100/0 → 1;80/20 → 0.278 |
| 玻尔兹曼分布 | 平衡态能级占据概率;配分函数是枢纽 | $p_i=\dfrac{e^{-\varepsilon_i/kT}}{Z}$ |
| Sackur–Tetrode | 理想气体熵的微观严格表达式 | $S=Nk[\ln(\frac{V}{N}(\cdots)^{3/2})+\frac52]$ |
| 做功与传热 | 做功 = 能级改变、分布不变;传热 = 分布改变 | $\mathrm{d}U=\delta Q+\delta A$ 的微观含义 |
| 第三定律 | $T\to0$ 完美晶体熵 → 0;绝对零度不可达 | $\lim_{T\to0}\Delta S=0$;$\Omega\to1$ |
至此第 13 章完成:从第一定律的能量账本,到循环与效率,到第二定律与熵,最后到熵的统计本质与信息。 热学的三条定律各送给我们一个态函数——$T$、$U$、$S$——它们共同构成宏观热现象的完整框架。
附:PPT 页码对照表点击页码可跳到对应幻灯片
下表把本讲幻灯片(slide_10.html,共 23 页)与 PPT 页码对应。源 PPT 第 22 页为空页,未建。
| PPT | 主题 | 对应本资料 |
|---|---|---|
| 1 | 封面:熵 Entropy | 本讲导读 |
| 2 | 不确定度 Uncertainty | 本讲导读 |
| 3 | 伯努利分布 | 1.1 |
| 4 | 香农熵(信息熵) | 1.2 |
| 5 | 香农熵与玻尔兹曼熵的关系 | 1.3 |
| 6 | 最大状态数(4 粒子) | 2.1 |
| 7 | 玻尔兹曼熵、吉布斯熵、香农熵 | 2.2 |
| 8 | 信息熵的测度单位与换算 | 2.3 |
| 9 | 状态数翻倍:加 1 比特 | 2.3 |
| 10 | 1 Byte 能存储多少信息 | 2.3 思考 |
| 11 | 信息量例一:50% / 50% | 三 |
| 12 | 信息量例二:100% / 0% | 三 |
| 13 | 信息量例三:80% / 20% | 三 |
| 14 | 信息量相当于负熵 | 三 |
| 15 | 信息论入门视频 | 三 |
| 16 | 香农熵、玻尔兹曼熵与克劳修斯熵(章节页) | 四 |
| 17 | 一、玻尔兹曼分布 | 4.1 |
| 18 | 二、理想气体的信息熵(Sackur–Tetrode) | 4.2 |
| 19 | 演示:平衡态的统计图像 | 4.2 |
| 20 | 三、做功:能级改变、分布不变 | 4.3 |
| 21 | 传热:能级不变、分布改变 | 4.3 |
| 23 | 四、热力学第三定律 | 五 |
| 24 | 热力学第三定律(续) | 五 |