LECTURE 08
神经网络基础
Neural Network Fundamentals
第 8 讲 · 感知机 · MLP · 反向传播
学习路线与实践PPT 第 14 页
先带着一个问题来学
神经网络比直线多了什么?
直线模型只有一组加权相加。神经网络把“加权相加 → 非线性变换”串联起来,能拼出更弯曲的关系,但也更容易记住噪声。
学完能做到
说明非线性的作用;解释前向计算与反向传播;观察训练和验证曲线。
第一遍不必深究:链式法则逐项推导、优化器更新公式。
学习路线与实践PPT 第 15 页
先算一个小例子
ReLU 就是“负数归零,正数保留”:输入 −2、0、3,输出 0、0、3。若每层都只有线性运算,多层仍能合并成一次线性运算。
| 输入 | ReLU 输出 | 发生了什么 |
|---|
| −2 | 0 | 负数归零 |
| 0 | 0 | 零保持不变 |
| 3 | 3 | 正数保留 |
你来解释:把这个例子用自己的话讲给同桌,指出输入、输出和需要检验的地方。
学习路线与实践PPT 第 16 页
把方法带回材料与物理
关系复杂不等于必须用深网。小样本表格数据先建立直线和树的基线,再判断增加复杂度是否带来稳定收益。
本讲要防的误解:反向传播负责算梯度,优化器负责更新参数。训练误差下降只能说明更贴合训练数据。
§8.1 从神经元到感知机PPT 第 01 页
生物启发:一个「神经元」
神经网络受生物神经元启发:接收多个输入,加权求和,过阈值后「激活」。
$$y = \sigma\big(\sum_j w_j x_j + b\big)$$
说明这就是感知机(perceptron):一个带非线性激活的线性组合,本质就是「逻辑回归单元」。
§8.1 从神经元到感知机PPT 第 02 页
单层感知机的局限
单个感知机是线性分类器,连 XOR 都分不开(第 3 讲提过)。
注意这是 AI 历史上著名的「感知机寒冬」——单层不行,直到人们想到叠多层。
§8.2 多层感知机PPT 第 03 页
叠起来:多层感知机(MLP)
把多个神经元分层堆叠,前一层的输出作为后一层的输入,就能表达非线性决策边界。
- 1输入层
接收特征 $\mathbf{x}$
- 2隐藏层
一层或多层,做非线性变换
- 3输出层
给出预测(回归一个值 / 分类各类概率)
要点万能逼近定理:只要有足够的隐藏神经元,MLP 能逼近任意连续函数——这就是它强大的根源。
§8.3 激活函数PPT 第 04 页
为什么要激活函数
如果没有非线性(激活函数),多层线性组合还是线性,叠再深也没用。
| 激活函数 | 公式 | 特点 |
|---|
| Sigmoid | $\sigma(z)=\dfrac{1}{1+e^{-z}}$ | 压到 (0,1),梯度易饱和 |
| ReLU | $\max(0, z)$ | 简单高效,最常用 |
| tanh | $\tanh(z)$ | 压到 (−1,1),零中心 |
要点现代网络默认用 ReLU:计算快、缓解梯度消失。
§8.3 激活函数PPT 第 05 页
ReLU 为什么好用
注意ReLU 的缺点:负区间梯度为 0,若某神经元长期落在负区会「死掉」(dead ReLU),可用 Leaky ReLU 缓解。
§8.4 损失与优化PPT 第 06 页
神经网络也是「最小化损失」
和线性回归、逻辑回归一样,神经网络训练的本质还是:定义损失,用梯度下降迭代更新所有权重。
| 任务 | 损失函数 |
|---|
| 回归 | 均方误差 MSE |
| 二分类 | 交叉熵(sigmoid 输出) |
| 多分类 | 交叉熵(Softmax 输出) |
说明差别只在「参数多、函数复杂」,但框架完全一致:前向算损失 → 反向算梯度 → 更新参数。
§8.5 反向传播PPT 第 07 页
反向传播:链式法则的应用
先用一句话理解:从最后的错误往前追,算出每个参数对错误的影响,再交给优化器更新。
网络有成千上万个权重,怎么高效算每个权重的梯度?答案是反向传播(backpropagation)——本质就是链式法则。
- 1前向
从输入逐层算到输出,得到损失 $L$
- 2反向
从损失往回,逐层算「损失对每层输入的梯度」
- 3链式
$\dfrac{\partial L}{\partial w} = \dfrac{\partial L}{\partial z}\cdot\dfrac{\partial z}{\partial w}$
- 4更新
所有权重沿负梯度更新
要点反向传播不是新算法,只是把链式法则高效地组织起来,一次前向 + 一次反向就能算出全部梯度。
§8.5 反向传播PPT 第 08 页
一个梯度传递的直觉
先用一句话理解:梯度指出局部上升最快的方向;沿反方向走一小步,希望降低损失。
误差像水流一样从输出层「倒灌」回输入层,每层按自己对误差的「责任」来调整。
说明链式法则把「最终误差」拆解、归因到每一个权重上,告诉每个权重「往哪个方向、调多大」能减小误差。
§8.6 优化器PPT 第 09 页
不只是朴素的梯度下降
先用一句话理解:梯度指出局部上升最快的方向;沿反方向走一小步,希望降低损失。
朴素 SGD 每次用一个小批样本算梯度更新。更聪明的优化器会自适应调整学习率。
| 优化器 | 特点 |
|---|
| SGD | 朴素,方向 = 负梯度,可能震荡慢 |
| Momentum | 加「惯性」,加速且抑制震荡 |
| Adam | 自适应每参数学习率,默认首选 |
要点实践默认 Adam:收敛快、几乎不用调学习率,是绝大多数任务的安全起点。
§8.7 防止过拟合PPT 第 10 页
神经网络特别容易过拟合
参数动辄百万级,模型容量巨大,必须用各种手段约束。
说明第 4 讲的「验证集 + 早停 + 正则化」在这里依然适用,再加一个神经网络特有的 Dropout。
§8.8 超参数全景PPT 第 11 页
神经网络要调的东西更多
| 超参数 | 典型取值 |
|---|
| 层数 / 每层神经元数 | 1–3 层,每层 16–256 |
| 学习率 | $10^{-4}$ ~ $10^{-2}$ |
| 批大小 batch size | 16 / 32 / 64 |
| 激活函数 | ReLU |
| 优化器 | Adam |
注意神经网络超参数众多且互相影响,调参经验比经典模型更重要,也更需要耐心。
§8.9 小结PPT 第 12 页
小结
- 1感知机
单个线性单元,XOR 都分不开
- 2MLP
多层堆叠 + 非线性,万能逼近
- 3激活
ReLU 为默认选择
- 4训练
前向算损失 → 反向传播(链式法则)→ 优化器更新
- 5防过拟合
早停 / Dropout / 正则化 / 加数据
§8.10 思考PPT 第 13 页
思考题
Q1为什么神经网络必须用非线性激活函数?
- 否则多层叠加仍是线性,无法表达复杂函数
- 为了更快
- 纯属惯例
A。没有非线性,多层线性组合还是线性。
Q2反向传播的本质是什么?
A。反向传播 = 用链式法则一次算出所有梯度。
学习路线与实践PPT 第 17 页
动手任务:交出结果,也交出解释
先画出你预期的训练和验证曲线:欠拟合、合适、过拟合各一张。实验 C 跑完后,对照判断。
提交:一张图或一张结果表 + 150 字解释 + 一个局限。
自查:数据如何划分?比简单猜测好多少?能否推广到新样品?
打开实验与结课项目指南