课程中心/机器学习导论/第 08 讲 阅读资料

神经网络基础

第 08 讲 · 阅读资料 | 对应幻灯片 slide_08.html(共 17 页正文)
感知机MLP反向传播

先带着一个问题来学对应幻灯片 PPT 第 14 页

神经网络比直线多了什么?

直线模型只有一组加权相加。神经网络把“加权相加 → 非线性变换”串联起来,能拼出更弯曲的关系,但也更容易记住噪声。

学完能做到

说明非线性的作用;解释前向计算与反向传播;观察训练和验证曲线。

第一遍不必深究:链式法则逐项推导、优化器更新公式。

先算一个小例子对应幻灯片 PPT 第 15 页

ReLU 就是“负数归零,正数保留”:输入 −2、0、3,输出 0、0、3。若每层都只有线性运算,多层仍能合并成一次线性运算。

输入ReLU 输出发生了什么
−20负数归零
00零保持不变
33正数保留
你来解释:把这个例子用自己的话讲给同桌,指出输入、输出和需要检验的地方。

把方法带回材料与物理对应幻灯片 PPT 第 16 页

关系复杂不等于必须用深网。小样本表格数据先建立直线和树的基线,再判断增加复杂度是否带来稳定收益。

本讲要防的误解:反向传播负责算梯度,优化器负责更新参数。训练误差下降只能说明更贴合训练数据。

生物启发:一个「神经元」对应幻灯片 PPT 第 1 页

神经网络受生物神经元启发:接收多个输入,加权求和,过阈值后「激活」。

$$y = \sigma\big(\sum_j w_j x_j + b\big)$$
说明这就是感知机(perceptron):一个带非线性激活的线性组合,本质就是「逻辑回归单元」。

单层感知机的局限对应幻灯片 PPT 第 2 页

单个感知机是线性分类器,连 XOR 都分不开(第 3 讲提过)。

能做的
线性可分的问题
不能做的
XOR、任何线性不可分的问题
注意这是 AI 历史上著名的「感知机寒冬」——单层不行,直到人们想到叠多层。

叠起来:多层感知机(MLP)对应幻灯片 PPT 第 3 页

把多个神经元分层堆叠,前一层的输出作为后一层的输入,就能表达非线性决策边界。

  1. 1输入层
    接收特征 $\mathbf{x}$
  2. 2隐藏层
    一层或多层,做非线性变换
  3. 3输出层
    给出预测(回归一个值 / 分类各类概率)
要点万能逼近定理:只要有足够的隐藏神经元,MLP 能逼近任意连续函数——这就是它强大的根源。

为什么要激活函数对应幻灯片 PPT 第 4 页

如果没有非线性(激活函数),多层线性组合还是线性,叠再深也没用。

激活函数公式特点
Sigmoid$\sigma(z)=\dfrac{1}{1+e^{-z}}$压到 (0,1),梯度易饱和
ReLU$\max(0, z)$简单高效,最常用
tanh$\tanh(z)$压到 (−1,1),零中心
要点现代网络默认用 ReLU:计算快、缓解梯度消失。

ReLU 为什么好用对应幻灯片 PPT 第 5 页

计算极快
就是取 max,没有指数运算
缓解梯度消失
正区间梯度恒为 1,不衰减
稀疏激活
负区间输出 0,部分神经元「关闭」
注意ReLU 的缺点:负区间梯度为 0,若某神经元长期落在负区会「死掉」(dead ReLU),可用 Leaky ReLU 缓解。

神经网络也是「最小化损失」对应幻灯片 PPT 第 6 页

和线性回归、逻辑回归一样,神经网络训练的本质还是:定义损失,用梯度下降迭代更新所有权重。

任务损失函数
回归均方误差 MSE
二分类交叉熵(sigmoid 输出)
多分类交叉熵(Softmax 输出)
说明差别只在「参数多、函数复杂」,但框架完全一致:前向算损失 → 反向算梯度 → 更新参数。

反向传播:链式法则的应用对应幻灯片 PPT 第 7 页

先用一句话理解:从最后的错误往前追,算出每个参数对错误的影响,再交给优化器更新。

网络有成千上万个权重,怎么高效算每个权重的梯度?答案是反向传播(backpropagation)——本质就是链式法则。

  1. 1前向
    从输入逐层算到输出,得到损失 $L$
  2. 2反向
    从损失往回,逐层算「损失对每层输入的梯度」
  3. 3链式
    $\dfrac{\partial L}{\partial w} = \dfrac{\partial L}{\partial z}\cdot\dfrac{\partial z}{\partial w}$
  4. 4更新
    所有权重沿负梯度更新
要点反向传播不是新算法,只是把链式法则高效地组织起来,一次前向 + 一次反向就能算出全部梯度。

一个梯度传递的直觉对应幻灯片 PPT 第 8 页

先用一句话理解:梯度指出局部上升最快的方向;沿反方向走一小步,希望降低损失。

误差像水流一样从输出层「倒灌」回输入层,每层按自己对误差的「责任」来调整。

说明链式法则把「最终误差」拆解、归因到每一个权重上,告诉每个权重「往哪个方向、调多大」能减小误差。

不只是朴素的梯度下降对应幻灯片 PPT 第 9 页

先用一句话理解:梯度指出局部上升最快的方向;沿反方向走一小步,希望降低损失。

朴素 SGD 每次用一个小批样本算梯度更新。更聪明的优化器会自适应调整学习率。

优化器特点
SGD朴素,方向 = 负梯度,可能震荡慢
Momentum加「惯性」,加速且抑制震荡
Adam自适应每参数学习率,默认首选
要点实践默认 Adam:收敛快、几乎不用调学习率,是绝大多数任务的安全起点。

神经网络特别容易过拟合对应幻灯片 PPT 第 10 页

参数动辄百万级,模型容量巨大,必须用各种手段约束。

早停
验证误差开始上升就停止训练
Dropout
训练时随机「关掉」一部分神经元
正则化
L2 权重衰减
加数据
数据增强 / 更多样本
说明第 4 讲的「验证集 + 早停 + 正则化」在这里依然适用,再加一个神经网络特有的 Dropout。

神经网络要调的东西更多对应幻灯片 PPT 第 11 页

超参数典型取值
层数 / 每层神经元数1–3 层,每层 16–256
学习率$10^{-4}$ ~ $10^{-2}$
批大小 batch size16 / 32 / 64
激活函数ReLU
优化器Adam
注意神经网络超参数众多且互相影响,调参经验比经典模型更重要,也更需要耐心。

小结对应幻灯片 PPT 第 12 页

  1. 1感知机
    单个线性单元,XOR 都分不开
  2. 2MLP
    多层堆叠 + 非线性,万能逼近
  3. 3激活
    ReLU 为默认选择
  4. 4训练
    前向算损失 → 反向传播(链式法则)→ 优化器更新
  5. 5防过拟合
    早停 / Dropout / 正则化 / 加数据

思考题对应幻灯片 PPT 第 13 页

Q1

为什么神经网络必须用非线性激活函数?

  • 否则多层叠加仍是线性,无法表达复杂函数
  • 为了更快
  • 纯属惯例
A。没有非线性,多层线性组合还是线性。
Q2

反向传播的本质是什么?

  • 链式法则的高效组织
  • 一种新算法
  • 特征选择
A。反向传播 = 用链式法则一次算出所有梯度。

动手任务:交出结果,也交出解释对应幻灯片 PPT 第 17 页

先画出你预期的训练和验证曲线:欠拟合、合适、过拟合各一张。实验 C 跑完后,对照判断。

提交:一张图或一张结果表 + 150 字解释 + 一个局限。

自查:数据如何划分?比简单猜测好多少?能否推广到新样品?

打开实验与结课项目指南

课后慢读:从会说到会做

第一步:合上公式,解释问题

先回答“神经网络比直线多了什么?”。直线模型只有一组加权相加。神经网络把“加权相加 → 非线性变换”串联起来,能拼出更弯曲的关系,但也更容易记住噪声。 这个比喻只是帮助入门,模型最终仍要接受独立数据的检验。

第二步:拿小例子核对

ReLU 就是“负数归零,正数保留”:输入 −2、0、3,输出 0、0、3。若每层都只有线性运算,多层仍能合并成一次线性运算。 请写下中间步骤;不能只抄结论。若换一组数据,你的解释是否仍成立?

第三步:联系专业场景

关系复杂不等于必须用深网。小样本表格数据先建立直线和树的基线,再判断增加复杂度是否带来稳定收益。

第四步:提交一个可以检查的结果

先画出你预期的训练和验证曲线:欠拟合、合适、过拟合各一张。实验 C 跑完后,对照判断。

参考判断与常见误区

反向传播负责算梯度,优化器负责更新参数。训练误差下降只能说明更贴合训练数据。

报告中分别写“我观察到什么”和“我推测为什么”。观察由图表支持;推测需要进一步实验。分数较低也可以是一份好报告,前提是数据划分合理、分析诚实。

基础达标:说明非线性的作用;解释前向计算与反向传播;观察训练和验证曲线。进阶再读:链式法则逐项推导、优化器更新公式。

完整实验、环境安装、结果解读与报告评分标准

附:PPT 页码对照表

页内容放映版深链
14先带着一个问题来学第 14 页
15先算一个小例子第 15 页
16把方法带回材料与物理第 16 页
01生物启发:一个「神经元」第 1 页
02单层感知机的局限第 2 页
03叠起来:多层感知机(MLP)第 3 页
04为什么要激活函数第 4 页
05ReLU 为什么好用第 5 页
06神经网络也是「最小化损失」第 6 页
07反向传播:链式法则的应用第 7 页
08一个梯度传递的直觉第 8 页
09不只是朴素的梯度下降第 9 页
10神经网络特别容易过拟合第 10 页
11神经网络要调的东西更多第 11 页
12小结第 12 页
13思考题第 13 页
17动手任务:交出结果,也交出解释第 17 页
100% = 放大 · − 缩小 · 0 复位