课程中心/机器学习导论/第 09 讲 阅读资料

深度学习与 PyTorch

第 09 讲 · 阅读资料 | 对应幻灯片 slide_09.html(共 17 页正文)
搭网络训练循环损失可视化

先带着一个问题来学对应幻灯片 PPT 第 14 页

怎样把一个网络完整地训练起来?

把训练想成反复改作业:算答案、看错多少、找各参数的责任、改一点,再做下一轮。验证时只检查,不修改参数。

学完能做到

运行完整训练循环;检查张量形状;比较基线与网络;保存并恢复参数。

第一遍不必深究:GPU 加速、多进程加载和复杂网络结构。

先算一个小例子对应幻灯片 PPT 第 15 页

预测形状若是 (32, 1),真实值也应是 (32, 1)。误写成 (32,) 可能触发广播,程序能运行却比较错了对象。

清梯度算预测算损失反向算梯度更新参数
按箭头读一遍,再用自己的话解释。
你来解释:把这个例子用自己的话讲给同桌,指出输入、输出和需要检验的地方。

把方法带回材料与物理对应幻灯片 PPT 第 16 页

实验 C 与实验 A 使用同一个模拟材料数据、同一个测试划分,先留出验证集,保存验证误差最低的一次参数。CPU 即可完成。

本讲要防的误解:回归用浮点目标和 MSE;多分类用 K 个原始分数和整数类别。CrossEntropyLoss 前不再加 Softmax。

两个主流深度学习框架对应幻灯片 PPT 第 1 页

框架特点
PyTorch本课使用:用 Python 组织张量计算与自动求导
TensorFlow另一种支持自动求导与模型训练的工具
要点本课程选 PyTorch:上手直观、调试友好,「定义即运行」让学习曲线平缓。

一切从张量(Tensor)开始对应幻灯片 PPT 第 2 页

张量就是「多维数组」,是 PyTorch 的基本数据结构,可以放到 GPU 上加速。

tensor.pyPython
import torch

x = torch.tensor([1.0, 2.0, 3.0])   # 一维张量
A = torch.randn(3, 4)               # 3x4 随机张量
print(x.shape, A.shape)

# 自动求导的开关
w = torch.tensor(2.0, requires_grad=True)
说明张量和 NumPy 数组很像,但多了自动求导和GPU 加速两大能力。

课堂代码片段:可能承接前页变量。第一次上机请从完整实验开始,先运行数据准备,再运行训练与评估。

自动求导:反向传播的自动实现对应幻灯片 PPT 第 3 页

先用一句话理解:从最后的错误往前追,算出每个参数对错误的影响,再交给优化器更新。

第 8 讲说反向传播是链式法则。PyTorch 的 autograd 帮你自动算梯度。

autograd.pyPython
import torch

x = torch.tensor(3.0, requires_grad=True)
y = x ** 2            # y = x^2
y.backward()          # 反向传播
print(x.grad)         # dy/dx = 2x = 6.0
要点你只需写「前向计算」,backward() 一句自动算好所有梯度,完全不用手推链式法则。

课堂代码片段:可能承接前页变量。第一次上机请从完整实验开始,先运行数据准备,再运行训练与评估。

用 nn.Module 定义网络对应幻灯片 PPT 第 4 页

mlp.pyPython
import torch.nn as nn

class MLP(nn.Module):
    def __init__(self, in_dim, hidden, out_dim):
        super().__init__()
        self.net = nn.Sequential(
            nn.Linear(in_dim, hidden),
            nn.ReLU(),
            nn.Linear(hidden, out_dim),
        )
    def forward(self, x):
        return self.net(x)
说明继承 nn.Module,在 forward 里定义前向计算。nn.Sequential 把层按顺序串起来。

课堂代码片段:可能承接前页变量。第一次上机请从完整实验开始,先运行数据准备,再运行训练与评估。

三层结构对照对应幻灯片 PPT 第 5 页

输入层
nn.Linear(in_dim, hidden),特征进
隐藏层
nn.Linear + nn.ReLU(),非线性变换
输出层
nn.Linear(hidden, out_dim),回归 1 维 / 分类 K 维
要点单目标回归输出 1 维;多分类输出 K 个原始分数。CrossEntropyLoss 直接接收原始分数;展示概率时再用 Softmax。

选定损失与优化器对应幻灯片 PPT 第 6 页

loss_optim.pyPython
import torch.nn as nn
import torch.optim as optim

model = MLP(in_dim=4, hidden=32, out_dim=1)

# 回归 → MSE;分类 → CrossEntropyLoss
criterion = nn.MSELoss()
optimizer = optim.Adam(model.parameters(), lr=1e-3)
说明把模型参数交给优化器:model.parameters()。多分类还需把输出改为 K 维,标签改为一维整数类别;不能只换损失函数。

课堂代码片段:可能承接前页变量。第一次上机请从完整实验开始,先运行数据准备,再运行训练与评估。

训练循环的五步对应幻灯片 PPT 第 7 页

  1. 1清零梯度
    optimizer.zero_grad()
  2. 2前向
    out = model(x) 算预测
  3. 3算损失
    loss = criterion(out, y)
  4. 4反向
    loss.backward() 算梯度
  5. 5更新
    optimizer.step() 更新参数
要点这五步是所有 PyTorch 训练的核心,记住即可,万变不离其宗。

训练循环片段:完整实验见实验 C对应幻灯片 PPT 第 8 页

train.pyPython
for epoch in range(200):
    optimizer.zero_grad()
    out = model(X_train)
    loss = criterion(out, y_train)
    loss.backward()
    optimizer.step()

    if epoch % 20 == 0:
        print(f'epoch {epoch}: loss = {loss.item():.4f}')
说明一个 epoch = 完整过一遍训练数据。每 20 个 epoch 打印一次损失,观察是否下降。

课堂代码片段:可能承接前页变量。第一次上机请从完整实验开始,先运行数据准备,再运行训练与评估。

用 DataLoader 管理数据对应幻灯片 PPT 第 9 页

真实数据量大,需要分批次、打乱、并行加载。DataLoader 一站式搞定。

dataloader.pyPython
from torch.utils.data import TensorDataset, DataLoader

ds = TensorDataset(X_train, y_train)
loader = DataLoader(ds, batch_size=32, shuffle=True)

for xb, yb in loader:
    out = model(xb)
    loss = criterion(out, yb)
    # ... backward + step
要点batch_size 每次喂多少样本,shuffle=True 每轮打乱,帮助收敛。

课堂代码片段:可能承接前页变量。第一次上机请从完整实验开始,先运行数据准备,再运行训练与评估。

把训练过程画出来对应幻灯片 PPT 第 10 页

plot_loss.pyPython
import matplotlib.pyplot as plt

history = []           # 每个 epoch 记录一次损失
for epoch in range(200):
    # ... 训练五步 ...
    history.append(loss.item())

plt.plot(history)
plt.xlabel('epoch')
plt.ylabel('loss')
plt.show()
说明损失曲线是诊断利器:训练损失下降说明更贴合训练数据,仍需看验证损失;震荡不降可能与学习率、批次噪声或数据问题有关;训练降验证升 = 过拟合。

课堂代码片段:可能承接前页变量。第一次上机请从完整实验开始,先运行数据准备,再运行训练与评估。

测试与保存模型对应幻灯片 PPT 第 11 页

eval_save.pyPython
# 评估时关掉梯度,节省内存
model.eval()
with torch.no_grad():
    pred = model(X_test)

# 保存参数(恢复前须建立相同结构)
torch.save(model.state_dict(), 'model.pth')
# 加载
model.load_state_dict(torch.load('model.pth', weights_only=True, map_location='cpu'))
要点model.eval() 切换到评估模式(关闭 Dropout 等),no_grad() 省内存。

课堂代码片段:可能承接前页变量。第一次上机请从完整实验开始,先运行数据准备,再运行训练与评估。

小结对应幻灯片 PPT 第 12 页

  1. 1张量
    多维数组 + 自动求导 + GPU
  2. 2定义网络
    继承 nn.Module,forward 写前向
  3. 3训练五步
    清零 → 前向 → 损失 → 反向 → 更新
  4. 4DataLoader
    分批、打乱、并行加载
  5. 5诊断
    画损失曲线,看收敛与过拟合

思考题对应幻灯片 PPT 第 13 页

Q1

PyTorch 训练循环中,为什么每次迭代要先 optimizer.zero_grad()?

  • 清除上一次的梯度,避免累加
  • 重置模型参数
  • 只是习惯
A。梯度默认累加,不清零会混入上一次的梯度。
Q2

model.eval() 的作用是?

  • 切换到评估模式,关闭 Dropout 等
  • 开始训练
  • 保存模型
A。评估模式关闭训练特有的随机行为(如 Dropout)。

动手任务:交出结果,也交出解释对应幻灯片 PPT 第 17 页

完成实验 C:提交训练/验证曲线、基线与网络的测试 MAE,并说明是否有证据值得使用网络。

提交:一张图或一张结果表 + 150 字解释 + 一个局限。

自查:数据如何划分?比简单猜测好多少?能否推广到新样品?

打开实验与结课项目指南

课后慢读:从会说到会做

第一步:合上公式,解释问题

先回答“怎样把一个网络完整地训练起来?”。把训练想成反复改作业:算答案、看错多少、找各参数的责任、改一点,再做下一轮。验证时只检查,不修改参数。 这个比喻只是帮助入门,模型最终仍要接受独立数据的检验。

第二步:拿小例子核对

预测形状若是 (32, 1),真实值也应是 (32, 1)。误写成 (32,) 可能触发广播,程序能运行却比较错了对象。 请写下中间步骤;不能只抄结论。若换一组数据,你的解释是否仍成立?

第三步:联系专业场景

实验 C 与实验 A 使用同一个模拟材料数据、同一个测试划分,先留出验证集,保存验证误差最低的一次参数。CPU 即可完成。

第四步:提交一个可以检查的结果

完成实验 C:提交训练/验证曲线、基线与网络的测试 MAE,并说明是否有证据值得使用网络。

参考判断与常见误区

回归用浮点目标和 MSE;多分类用 K 个原始分数和整数类别。CrossEntropyLoss 前不再加 Softmax。

报告中分别写“我观察到什么”和“我推测为什么”。观察由图表支持;推测需要进一步实验。分数较低也可以是一份好报告,前提是数据划分合理、分析诚实。

基础达标:运行完整训练循环;检查张量形状;比较基线与网络;保存并恢复参数。进阶再读:GPU 加速、多进程加载和复杂网络结构。

完整实验、环境安装、结果解读与报告评分标准

附:PPT 页码对照表

页内容放映版深链
14先带着一个问题来学第 14 页
15先算一个小例子第 15 页
16把方法带回材料与物理第 16 页
01两个主流深度学习框架第 1 页
02一切从张量(Tensor)开始第 2 页
03自动求导:反向传播的自动实现第 3 页
04用 nn.Module 定义网络第 4 页
05三层结构对照第 5 页
06选定损失与优化器第 6 页
07训练循环的五步第 7 页
08训练循环片段:完整实验见实验 C第 8 页
09用 DataLoader 管理数据第 9 页
10把训练过程画出来第 10 页
11测试与保存模型第 11 页
12小结第 12 页
13思考题第 13 页
17动手任务:交出结果,也交出解释第 17 页
100% = 放大 · − 缩小 · 0 复位