机器学习导论
课程中心/ 机器学习导论/ 阅读资料/ 第 9 讲
搭网络 · 训练循环 · 损失可视化
LECTURE 09

深度学习与 PyTorch

Deep Learning with PyTorch
第 9 讲 · 搭网络 · 训练循环 · 损失可视化
学习路线与实践PPT 第 14 页

先带着一个问题来学

怎样把一个网络完整地训练起来?

把训练想成反复改作业:算答案、看错多少、找各参数的责任、改一点,再做下一轮。验证时只检查,不修改参数。

学完能做到

运行完整训练循环;检查张量形状;比较基线与网络;保存并恢复参数。

第一遍不必深究:GPU 加速、多进程加载和复杂网络结构。

学习路线与实践PPT 第 15 页

先算一个小例子

预测形状若是 (32, 1),真实值也应是 (32, 1)。误写成 (32,) 可能触发广播,程序能运行却比较错了对象。

清梯度算预测算损失反向算梯度更新参数
按箭头读一遍,再用自己的话解释。
你来解释:把这个例子用自己的话讲给同桌,指出输入、输出和需要检验的地方。
学习路线与实践PPT 第 16 页

把方法带回材料与物理

实验 C 与实验 A 使用同一个模拟材料数据、同一个测试划分,先留出验证集,保存验证误差最低的一次参数。CPU 即可完成。

本讲要防的误解:回归用浮点目标和 MSE;多分类用 K 个原始分数和整数类别。CrossEntropyLoss 前不再加 Softmax。
§9.1 为什么选 PyTorchPPT 第 01 页

两个主流深度学习框架

框架特点
PyTorch本课使用:用 Python 组织张量计算与自动求导
TensorFlow另一种支持自动求导与模型训练的工具
要点本课程选 PyTorch:上手直观、调试友好,「定义即运行」让学习曲线平缓。
§9.2 张量PPT 第 02 页

一切从张量(Tensor)开始

张量就是「多维数组」,是 PyTorch 的基本数据结构,可以放到 GPU 上加速。

tensor.pyPython
import torch

x = torch.tensor([1.0, 2.0, 3.0])   # 一维张量
A = torch.randn(3, 4)               # 3x4 随机张量
print(x.shape, A.shape)

# 自动求导的开关
w = torch.tensor(2.0, requires_grad=True)
说明张量和 NumPy 数组很像,但多了自动求导和GPU 加速两大能力。

课堂代码片段:可能承接前页变量。第一次上机请从完整实验开始,先运行数据准备,再运行训练与评估。

§9.3 自动求导PPT 第 03 页

自动求导:反向传播的自动实现

先用一句话理解:从最后的错误往前追,算出每个参数对错误的影响,再交给优化器更新。

第 8 讲说反向传播是链式法则。PyTorch 的 autograd 帮你自动算梯度。

autograd.pyPython
import torch

x = torch.tensor(3.0, requires_grad=True)
y = x ** 2            # y = x^2
y.backward()          # 反向传播
print(x.grad)         # dy/dx = 2x = 6.0
要点你只需写「前向计算」,backward() 一句自动算好所有梯度,完全不用手推链式法则。

课堂代码片段:可能承接前页变量。第一次上机请从完整实验开始,先运行数据准备,再运行训练与评估。

§9.4 定义网络PPT 第 04 页

用 nn.Module 定义网络

mlp.pyPython
import torch.nn as nn

class MLP(nn.Module):
    def __init__(self, in_dim, hidden, out_dim):
        super().__init__()
        self.net = nn.Sequential(
            nn.Linear(in_dim, hidden),
            nn.ReLU(),
            nn.Linear(hidden, out_dim),
        )
    def forward(self, x):
        return self.net(x)
说明继承 nn.Module,在 forward 里定义前向计算。nn.Sequential 把层按顺序串起来。

课堂代码片段:可能承接前页变量。第一次上机请从完整实验开始,先运行数据准备,再运行训练与评估。

§9.4 定义网络PPT 第 05 页

三层结构对照

输入层
nn.Linear(in_dim, hidden),特征进
隐藏层
nn.Linear + nn.ReLU(),非线性变换
输出层
nn.Linear(hidden, out_dim),回归 1 维 / 分类 K 维
要点单目标回归输出 1 维;多分类输出 K 个原始分数。CrossEntropyLoss 直接接收原始分数;展示概率时再用 Softmax。
§9.5 损失与优化器PPT 第 06 页

选定损失与优化器

loss_optim.pyPython
import torch.nn as nn
import torch.optim as optim

model = MLP(in_dim=4, hidden=32, out_dim=1)

# 回归 → MSE;分类 → CrossEntropyLoss
criterion = nn.MSELoss()
optimizer = optim.Adam(model.parameters(), lr=1e-3)
说明把模型参数交给优化器:model.parameters()。多分类还需把输出改为 K 维,标签改为一维整数类别;不能只换损失函数。

课堂代码片段:可能承接前页变量。第一次上机请从完整实验开始,先运行数据准备,再运行训练与评估。

§9.6 训练循环PPT 第 07 页

训练循环的五步

  1. 1清零梯度
    optimizer.zero_grad()
  2. 2前向
    out = model(x) 算预测
  3. 3算损失
    loss = criterion(out, y)
  4. 4反向
    loss.backward() 算梯度
  5. 5更新
    optimizer.step() 更新参数
要点这五步是所有 PyTorch 训练的核心,记住即可,万变不离其宗。
§9.6 训练循环PPT 第 08 页

训练循环片段:完整实验见实验 C

train.pyPython
for epoch in range(200):
    optimizer.zero_grad()
    out = model(X_train)
    loss = criterion(out, y_train)
    loss.backward()
    optimizer.step()

    if epoch % 20 == 0:
        print(f'epoch {epoch}: loss = {loss.item():.4f}')
说明一个 epoch = 完整过一遍训练数据。每 20 个 epoch 打印一次损失,观察是否下降。

课堂代码片段:可能承接前页变量。第一次上机请从完整实验开始,先运行数据准备,再运行训练与评估。

§9.7 数据加载PPT 第 09 页

用 DataLoader 管理数据

真实数据量大,需要分批次、打乱、并行加载。DataLoader 一站式搞定。

dataloader.pyPython
from torch.utils.data import TensorDataset, DataLoader

ds = TensorDataset(X_train, y_train)
loader = DataLoader(ds, batch_size=32, shuffle=True)

for xb, yb in loader:
    out = model(xb)
    loss = criterion(out, yb)
    # ... backward + step
要点batch_size 每次喂多少样本,shuffle=True 每轮打乱,帮助收敛。

课堂代码片段:可能承接前页变量。第一次上机请从完整实验开始,先运行数据准备,再运行训练与评估。

§9.8 损失可视化PPT 第 10 页

把训练过程画出来

plot_loss.pyPython
import matplotlib.pyplot as plt

history = []           # 每个 epoch 记录一次损失
for epoch in range(200):
    # ... 训练五步 ...
    history.append(loss.item())

plt.plot(history)
plt.xlabel('epoch')
plt.ylabel('loss')
plt.show()
说明损失曲线是诊断利器:训练损失下降说明更贴合训练数据,仍需看验证损失;震荡不降可能与学习率、批次噪声或数据问题有关;训练降验证升 = 过拟合。

课堂代码片段:可能承接前页变量。第一次上机请从完整实验开始,先运行数据准备,再运行训练与评估。

§9.9 评估与保存PPT 第 11 页

测试与保存模型

eval_save.pyPython
# 评估时关掉梯度,节省内存
model.eval()
with torch.no_grad():
    pred = model(X_test)

# 保存参数(恢复前须建立相同结构)
torch.save(model.state_dict(), 'model.pth')
# 加载
model.load_state_dict(torch.load('model.pth', weights_only=True, map_location='cpu'))
要点model.eval() 切换到评估模式(关闭 Dropout 等),no_grad() 省内存。

课堂代码片段:可能承接前页变量。第一次上机请从完整实验开始,先运行数据准备,再运行训练与评估。

§9.10 小结PPT 第 12 页

小结

  1. 1张量
    多维数组 + 自动求导 + GPU
  2. 2定义网络
    继承 nn.Module,forward 写前向
  3. 3训练五步
    清零 → 前向 → 损失 → 反向 → 更新
  4. 4DataLoader
    分批、打乱、并行加载
  5. 5诊断
    画损失曲线,看收敛与过拟合
§9.11 思考PPT 第 13 页

思考题

Q1

PyTorch 训练循环中,为什么每次迭代要先 optimizer.zero_grad()?

  • 清除上一次的梯度,避免累加
  • 重置模型参数
  • 只是习惯
A。梯度默认累加,不清零会混入上一次的梯度。
Q2

model.eval() 的作用是?

  • 切换到评估模式,关闭 Dropout 等
  • 开始训练
  • 保存模型
A。评估模式关闭训练特有的随机行为(如 Dropout)。
学习路线与实践PPT 第 17 页

动手任务:交出结果,也交出解释

完成实验 C:提交训练/验证曲线、基线与网络的测试 MAE,并说明是否有证据值得使用网络。

提交:一张图或一张结果表 + 150 字解释 + 一个局限。

自查:数据如何划分?比简单猜测好多少?能否推广到新样品?

打开实验与结课项目指南

1 / 1 100%

幻灯片目录

← → 翻页 空格 下一页 F 全屏 O / Esc 目录 数字键 1-9 快速跳页 字号:= 放大 / − 缩小 / 0 复位