先带着一个问题来学对应幻灯片 PPT 第 14 页
神经网络比直线多了什么?
直线模型只有一组加权相加。神经网络把“加权相加 → 非线性变换”串联起来,能拼出更弯曲的关系,但也更容易记住噪声。
学完能做到
说明非线性的作用;解释前向计算与反向传播;观察训练和验证曲线。
第一遍不必深究:链式法则逐项推导、优化器更新公式。
先算一个小例子对应幻灯片 PPT 第 15 页
ReLU 就是“负数归零,正数保留”:输入 −2、0、3,输出 0、0、3。若每层都只有线性运算,多层仍能合并成一次线性运算。
| 输入 | ReLU 输出 | 发生了什么 |
|---|---|---|
| −2 | 0 | 负数归零 |
| 0 | 0 | 零保持不变 |
| 3 | 3 | 正数保留 |
把方法带回材料与物理对应幻灯片 PPT 第 16 页
关系复杂不等于必须用深网。小样本表格数据先建立直线和树的基线,再判断增加复杂度是否带来稳定收益。
生物启发:一个「神经元」对应幻灯片 PPT 第 1 页
神经网络受生物神经元启发:接收多个输入,加权求和,过阈值后「激活」。
单层感知机的局限对应幻灯片 PPT 第 2 页
单个感知机是线性分类器,连 XOR 都分不开(第 3 讲提过)。
叠起来:多层感知机(MLP)对应幻灯片 PPT 第 3 页
把多个神经元分层堆叠,前一层的输出作为后一层的输入,就能表达非线性决策边界。
- 1输入层接收特征 $\mathbf{x}$
- 2隐藏层一层或多层,做非线性变换
- 3输出层给出预测(回归一个值 / 分类各类概率)
为什么要激活函数对应幻灯片 PPT 第 4 页
如果没有非线性(激活函数),多层线性组合还是线性,叠再深也没用。
| 激活函数 | 公式 | 特点 |
|---|---|---|
| Sigmoid | $\sigma(z)=\dfrac{1}{1+e^{-z}}$ | 压到 (0,1),梯度易饱和 |
| ReLU | $\max(0, z)$ | 简单高效,最常用 |
| tanh | $\tanh(z)$ | 压到 (−1,1),零中心 |
ReLU 为什么好用对应幻灯片 PPT 第 5 页
神经网络也是「最小化损失」对应幻灯片 PPT 第 6 页
和线性回归、逻辑回归一样,神经网络训练的本质还是:定义损失,用梯度下降迭代更新所有权重。
| 任务 | 损失函数 |
|---|---|
| 回归 | 均方误差 MSE |
| 二分类 | 交叉熵(sigmoid 输出) |
| 多分类 | 交叉熵(Softmax 输出) |
反向传播:链式法则的应用对应幻灯片 PPT 第 7 页
先用一句话理解:从最后的错误往前追,算出每个参数对错误的影响,再交给优化器更新。
网络有成千上万个权重,怎么高效算每个权重的梯度?答案是反向传播(backpropagation)——本质就是链式法则。
- 1前向从输入逐层算到输出,得到损失 $L$
- 2反向从损失往回,逐层算「损失对每层输入的梯度」
- 3链式$\dfrac{\partial L}{\partial w} = \dfrac{\partial L}{\partial z}\cdot\dfrac{\partial z}{\partial w}$
- 4更新所有权重沿负梯度更新
一个梯度传递的直觉对应幻灯片 PPT 第 8 页
先用一句话理解:梯度指出局部上升最快的方向;沿反方向走一小步,希望降低损失。
误差像水流一样从输出层「倒灌」回输入层,每层按自己对误差的「责任」来调整。
不只是朴素的梯度下降对应幻灯片 PPT 第 9 页
先用一句话理解:梯度指出局部上升最快的方向;沿反方向走一小步,希望降低损失。
朴素 SGD 每次用一个小批样本算梯度更新。更聪明的优化器会自适应调整学习率。
| 优化器 | 特点 |
|---|---|
| SGD | 朴素,方向 = 负梯度,可能震荡慢 |
| Momentum | 加「惯性」,加速且抑制震荡 |
| Adam | 自适应每参数学习率,默认首选 |
神经网络特别容易过拟合对应幻灯片 PPT 第 10 页
参数动辄百万级,模型容量巨大,必须用各种手段约束。
神经网络要调的东西更多对应幻灯片 PPT 第 11 页
| 超参数 | 典型取值 |
|---|---|
| 层数 / 每层神经元数 | 1–3 层,每层 16–256 |
| 学习率 | $10^{-4}$ ~ $10^{-2}$ |
| 批大小 batch size | 16 / 32 / 64 |
| 激活函数 | ReLU |
| 优化器 | Adam |
小结对应幻灯片 PPT 第 12 页
- 1感知机单个线性单元,XOR 都分不开
- 2MLP多层堆叠 + 非线性,万能逼近
- 3激活ReLU 为默认选择
- 4训练前向算损失 → 反向传播(链式法则)→ 优化器更新
- 5防过拟合早停 / Dropout / 正则化 / 加数据
思考题对应幻灯片 PPT 第 13 页
为什么神经网络必须用非线性激活函数?
- 否则多层叠加仍是线性,无法表达复杂函数
- 为了更快
- 纯属惯例
反向传播的本质是什么?
- 链式法则的高效组织
- 一种新算法
- 特征选择
动手任务:交出结果,也交出解释对应幻灯片 PPT 第 17 页
先画出你预期的训练和验证曲线:欠拟合、合适、过拟合各一张。实验 C 跑完后,对照判断。
提交:一张图或一张结果表 + 150 字解释 + 一个局限。
自查:数据如何划分?比简单猜测好多少?能否推广到新样品?
课后慢读:从会说到会做
第一步:合上公式,解释问题
先回答“神经网络比直线多了什么?”。直线模型只有一组加权相加。神经网络把“加权相加 → 非线性变换”串联起来,能拼出更弯曲的关系,但也更容易记住噪声。 这个比喻只是帮助入门,模型最终仍要接受独立数据的检验。
第二步:拿小例子核对
ReLU 就是“负数归零,正数保留”:输入 −2、0、3,输出 0、0、3。若每层都只有线性运算,多层仍能合并成一次线性运算。 请写下中间步骤;不能只抄结论。若换一组数据,你的解释是否仍成立?
第三步:联系专业场景
关系复杂不等于必须用深网。小样本表格数据先建立直线和树的基线,再判断增加复杂度是否带来稳定收益。
第四步:提交一个可以检查的结果
先画出你预期的训练和验证曲线:欠拟合、合适、过拟合各一张。实验 C 跑完后,对照判断。
参考判断与常见误区
反向传播负责算梯度,优化器负责更新参数。训练误差下降只能说明更贴合训练数据。
报告中分别写“我观察到什么”和“我推测为什么”。观察由图表支持;推测需要进一步实验。分数较低也可以是一份好报告,前提是数据划分合理、分析诚实。
基础达标:说明非线性的作用;解释前向计算与反向传播;观察训练和验证曲线。进阶再读:链式法则逐项推导、优化器更新公式。
附:PPT 页码对照表
| 页 | 内容 | 放映版深链 |
|---|---|---|
| 14 | 先带着一个问题来学 | 第 14 页 |
| 15 | 先算一个小例子 | 第 15 页 |
| 16 | 把方法带回材料与物理 | 第 16 页 |
| 01 | 生物启发:一个「神经元」 | 第 1 页 |
| 02 | 单层感知机的局限 | 第 2 页 |
| 03 | 叠起来:多层感知机(MLP) | 第 3 页 |
| 04 | 为什么要激活函数 | 第 4 页 |
| 05 | ReLU 为什么好用 | 第 5 页 |
| 06 | 神经网络也是「最小化损失」 | 第 6 页 |
| 07 | 反向传播:链式法则的应用 | 第 7 页 |
| 08 | 一个梯度传递的直觉 | 第 8 页 |
| 09 | 不只是朴素的梯度下降 | 第 9 页 |
| 10 | 神经网络特别容易过拟合 | 第 10 页 |
| 11 | 神经网络要调的东西更多 | 第 11 页 |
| 12 | 小结 | 第 12 页 |
| 13 | 思考题 | 第 13 页 |
| 17 | 动手任务:交出结果,也交出解释 | 第 17 页 |