机器学习导论
课程中心/ 机器学习导论/ 阅读资料/ 第 8 讲
感知机 · MLP · 反向传播
LECTURE 08

神经网络基础

Neural Network Fundamentals
第 8 讲 · 感知机 · MLP · 反向传播
学习路线与实践PPT 第 14 页

先带着一个问题来学

神经网络比直线多了什么?

直线模型只有一组加权相加。神经网络把“加权相加 → 非线性变换”串联起来,能拼出更弯曲的关系,但也更容易记住噪声。

学完能做到

说明非线性的作用;解释前向计算与反向传播;观察训练和验证曲线。

第一遍不必深究:链式法则逐项推导、优化器更新公式。

学习路线与实践PPT 第 15 页

先算一个小例子

ReLU 就是“负数归零,正数保留”:输入 −2、0、3,输出 0、0、3。若每层都只有线性运算,多层仍能合并成一次线性运算。

输入ReLU 输出发生了什么
−20负数归零
00零保持不变
33正数保留
你来解释:把这个例子用自己的话讲给同桌,指出输入、输出和需要检验的地方。
学习路线与实践PPT 第 16 页

把方法带回材料与物理

关系复杂不等于必须用深网。小样本表格数据先建立直线和树的基线,再判断增加复杂度是否带来稳定收益。

本讲要防的误解:反向传播负责算梯度,优化器负责更新参数。训练误差下降只能说明更贴合训练数据。
§8.1 从神经元到感知机PPT 第 01 页

生物启发:一个「神经元」

神经网络受生物神经元启发:接收多个输入,加权求和,过阈值后「激活」。

$$y = \sigma\big(\sum_j w_j x_j + b\big)$$
说明这就是感知机(perceptron):一个带非线性激活的线性组合,本质就是「逻辑回归单元」。
§8.1 从神经元到感知机PPT 第 02 页

单层感知机的局限

单个感知机是线性分类器,连 XOR 都分不开(第 3 讲提过)。

能做的
线性可分的问题
不能做的
XOR、任何线性不可分的问题
注意这是 AI 历史上著名的「感知机寒冬」——单层不行,直到人们想到叠多层。
§8.2 多层感知机PPT 第 03 页

叠起来:多层感知机(MLP)

把多个神经元分层堆叠,前一层的输出作为后一层的输入,就能表达非线性决策边界。

  1. 1输入层
    接收特征 $\mathbf{x}$
  2. 2隐藏层
    一层或多层,做非线性变换
  3. 3输出层
    给出预测(回归一个值 / 分类各类概率)
要点万能逼近定理:只要有足够的隐藏神经元,MLP 能逼近任意连续函数——这就是它强大的根源。
§8.3 激活函数PPT 第 04 页

为什么要激活函数

如果没有非线性(激活函数),多层线性组合还是线性,叠再深也没用。

激活函数公式特点
Sigmoid$\sigma(z)=\dfrac{1}{1+e^{-z}}$压到 (0,1),梯度易饱和
ReLU$\max(0, z)$简单高效,最常用
tanh$\tanh(z)$压到 (−1,1),零中心
要点现代网络默认用 ReLU:计算快、缓解梯度消失。
§8.3 激活函数PPT 第 05 页

ReLU 为什么好用

计算极快
就是取 max,没有指数运算
缓解梯度消失
正区间梯度恒为 1,不衰减
稀疏激活
负区间输出 0,部分神经元「关闭」
注意ReLU 的缺点:负区间梯度为 0,若某神经元长期落在负区会「死掉」(dead ReLU),可用 Leaky ReLU 缓解。
§8.4 损失与优化PPT 第 06 页

神经网络也是「最小化损失」

和线性回归、逻辑回归一样,神经网络训练的本质还是:定义损失,用梯度下降迭代更新所有权重。

任务损失函数
回归均方误差 MSE
二分类交叉熵(sigmoid 输出)
多分类交叉熵(Softmax 输出)
说明差别只在「参数多、函数复杂」,但框架完全一致:前向算损失 → 反向算梯度 → 更新参数。
§8.5 反向传播PPT 第 07 页

反向传播:链式法则的应用

先用一句话理解:从最后的错误往前追,算出每个参数对错误的影响,再交给优化器更新。

网络有成千上万个权重,怎么高效算每个权重的梯度?答案是反向传播(backpropagation)——本质就是链式法则。

  1. 1前向
    从输入逐层算到输出,得到损失 $L$
  2. 2反向
    从损失往回,逐层算「损失对每层输入的梯度」
  3. 3链式
    $\dfrac{\partial L}{\partial w} = \dfrac{\partial L}{\partial z}\cdot\dfrac{\partial z}{\partial w}$
  4. 4更新
    所有权重沿负梯度更新
要点反向传播不是新算法,只是把链式法则高效地组织起来,一次前向 + 一次反向就能算出全部梯度。
§8.5 反向传播PPT 第 08 页

一个梯度传递的直觉

先用一句话理解:梯度指出局部上升最快的方向;沿反方向走一小步,希望降低损失。

误差像水流一样从输出层「倒灌」回输入层,每层按自己对误差的「责任」来调整。

说明链式法则把「最终误差」拆解、归因到每一个权重上,告诉每个权重「往哪个方向、调多大」能减小误差。
§8.6 优化器PPT 第 09 页

不只是朴素的梯度下降

先用一句话理解:梯度指出局部上升最快的方向;沿反方向走一小步,希望降低损失。

朴素 SGD 每次用一个小批样本算梯度更新。更聪明的优化器会自适应调整学习率。

优化器特点
SGD朴素,方向 = 负梯度,可能震荡慢
Momentum加「惯性」,加速且抑制震荡
Adam自适应每参数学习率,默认首选
要点实践默认 Adam:收敛快、几乎不用调学习率,是绝大多数任务的安全起点。
§8.7 防止过拟合PPT 第 10 页

神经网络特别容易过拟合

参数动辄百万级,模型容量巨大,必须用各种手段约束。

早停
验证误差开始上升就停止训练
Dropout
训练时随机「关掉」一部分神经元
正则化
L2 权重衰减
加数据
数据增强 / 更多样本
说明第 4 讲的「验证集 + 早停 + 正则化」在这里依然适用,再加一个神经网络特有的 Dropout。
§8.8 超参数全景PPT 第 11 页

神经网络要调的东西更多

超参数典型取值
层数 / 每层神经元数1–3 层,每层 16–256
学习率$10^{-4}$ ~ $10^{-2}$
批大小 batch size16 / 32 / 64
激活函数ReLU
优化器Adam
注意神经网络超参数众多且互相影响,调参经验比经典模型更重要,也更需要耐心。
§8.9 小结PPT 第 12 页

小结

  1. 1感知机
    单个线性单元,XOR 都分不开
  2. 2MLP
    多层堆叠 + 非线性,万能逼近
  3. 3激活
    ReLU 为默认选择
  4. 4训练
    前向算损失 → 反向传播(链式法则)→ 优化器更新
  5. 5防过拟合
    早停 / Dropout / 正则化 / 加数据
§8.10 思考PPT 第 13 页

思考题

Q1

为什么神经网络必须用非线性激活函数?

  • 否则多层叠加仍是线性,无法表达复杂函数
  • 为了更快
  • 纯属惯例
A。没有非线性,多层线性组合还是线性。
Q2

反向传播的本质是什么?

  • 链式法则的高效组织
  • 一种新算法
  • 特征选择
A。反向传播 = 用链式法则一次算出所有梯度。
学习路线与实践PPT 第 17 页

动手任务:交出结果,也交出解释

先画出你预期的训练和验证曲线:欠拟合、合适、过拟合各一张。实验 C 跑完后,对照判断。

提交:一张图或一张结果表 + 150 字解释 + 一个局限。

自查:数据如何划分?比简单猜测好多少?能否推广到新样品?

打开实验与结课项目指南

1 / 1 100%

幻灯片目录

← → 翻页 空格 下一页 F 全屏 O / Esc 目录 数字键 1-9 快速跳页 字号:= 放大 / − 缩小 / 0 复位