先带着一个问题来学对应幻灯片 PPT 第 14 页
怎样把一个网络完整地训练起来?
把训练想成反复改作业:算答案、看错多少、找各参数的责任、改一点,再做下一轮。验证时只检查,不修改参数。
学完能做到
运行完整训练循环;检查张量形状;比较基线与网络;保存并恢复参数。
第一遍不必深究:GPU 加速、多进程加载和复杂网络结构。
先算一个小例子对应幻灯片 PPT 第 15 页
预测形状若是 (32, 1),真实值也应是 (32, 1)。误写成 (32,) 可能触发广播,程序能运行却比较错了对象。
把方法带回材料与物理对应幻灯片 PPT 第 16 页
实验 C 与实验 A 使用同一个模拟材料数据、同一个测试划分,先留出验证集,保存验证误差最低的一次参数。CPU 即可完成。
两个主流深度学习框架对应幻灯片 PPT 第 1 页
| 框架 | 特点 |
|---|---|
| PyTorch | 本课使用:用 Python 组织张量计算与自动求导 |
| TensorFlow | 另一种支持自动求导与模型训练的工具 |
一切从张量(Tensor)开始对应幻灯片 PPT 第 2 页
张量就是「多维数组」,是 PyTorch 的基本数据结构,可以放到 GPU 上加速。
import torch x = torch.tensor([1.0, 2.0, 3.0]) # 一维张量 A = torch.randn(3, 4) # 3x4 随机张量 print(x.shape, A.shape) # 自动求导的开关 w = torch.tensor(2.0, requires_grad=True)
课堂代码片段:可能承接前页变量。第一次上机请从完整实验开始,先运行数据准备,再运行训练与评估。
自动求导:反向传播的自动实现对应幻灯片 PPT 第 3 页
先用一句话理解:从最后的错误往前追,算出每个参数对错误的影响,再交给优化器更新。
第 8 讲说反向传播是链式法则。PyTorch 的 autograd 帮你自动算梯度。
import torch x = torch.tensor(3.0, requires_grad=True) y = x ** 2 # y = x^2 y.backward() # 反向传播 print(x.grad) # dy/dx = 2x = 6.0
backward() 一句自动算好所有梯度,完全不用手推链式法则。课堂代码片段:可能承接前页变量。第一次上机请从完整实验开始,先运行数据准备,再运行训练与评估。
用 nn.Module 定义网络对应幻灯片 PPT 第 4 页
import torch.nn as nn
class MLP(nn.Module):
def __init__(self, in_dim, hidden, out_dim):
super().__init__()
self.net = nn.Sequential(
nn.Linear(in_dim, hidden),
nn.ReLU(),
nn.Linear(hidden, out_dim),
)
def forward(self, x):
return self.net(x)nn.Module,在 forward 里定义前向计算。nn.Sequential 把层按顺序串起来。课堂代码片段:可能承接前页变量。第一次上机请从完整实验开始,先运行数据准备,再运行训练与评估。
三层结构对照对应幻灯片 PPT 第 5 页
nn.Linear(in_dim, hidden),特征进nn.Linear + nn.ReLU(),非线性变换nn.Linear(hidden, out_dim),回归 1 维 / 分类 K 维选定损失与优化器对应幻灯片 PPT 第 6 页
import torch.nn as nn import torch.optim as optim model = MLP(in_dim=4, hidden=32, out_dim=1) # 回归 → MSE;分类 → CrossEntropyLoss criterion = nn.MSELoss() optimizer = optim.Adam(model.parameters(), lr=1e-3)
model.parameters()。多分类还需把输出改为 K 维,标签改为一维整数类别;不能只换损失函数。课堂代码片段:可能承接前页变量。第一次上机请从完整实验开始,先运行数据准备,再运行训练与评估。
训练循环的五步对应幻灯片 PPT 第 7 页
- 1清零梯度
optimizer.zero_grad() - 2前向
out = model(x)算预测 - 3算损失
loss = criterion(out, y) - 4反向
loss.backward()算梯度 - 5更新
optimizer.step()更新参数
训练循环片段:完整实验见实验 C对应幻灯片 PPT 第 8 页
for epoch in range(200):
optimizer.zero_grad()
out = model(X_train)
loss = criterion(out, y_train)
loss.backward()
optimizer.step()
if epoch % 20 == 0:
print(f'epoch {epoch}: loss = {loss.item():.4f}')课堂代码片段:可能承接前页变量。第一次上机请从完整实验开始,先运行数据准备,再运行训练与评估。
用 DataLoader 管理数据对应幻灯片 PPT 第 9 页
真实数据量大,需要分批次、打乱、并行加载。DataLoader 一站式搞定。
from torch.utils.data import TensorDataset, DataLoader
ds = TensorDataset(X_train, y_train)
loader = DataLoader(ds, batch_size=32, shuffle=True)
for xb, yb in loader:
out = model(xb)
loss = criterion(out, yb)
# ... backward + stepbatch_size 每次喂多少样本,shuffle=True 每轮打乱,帮助收敛。课堂代码片段:可能承接前页变量。第一次上机请从完整实验开始,先运行数据准备,再运行训练与评估。
把训练过程画出来对应幻灯片 PPT 第 10 页
import matplotlib.pyplot as plt
history = [] # 每个 epoch 记录一次损失
for epoch in range(200):
# ... 训练五步 ...
history.append(loss.item())
plt.plot(history)
plt.xlabel('epoch')
plt.ylabel('loss')
plt.show()课堂代码片段:可能承接前页变量。第一次上机请从完整实验开始,先运行数据准备,再运行训练与评估。
测试与保存模型对应幻灯片 PPT 第 11 页
# 评估时关掉梯度,节省内存
model.eval()
with torch.no_grad():
pred = model(X_test)
# 保存参数(恢复前须建立相同结构)
torch.save(model.state_dict(), 'model.pth')
# 加载
model.load_state_dict(torch.load('model.pth', weights_only=True, map_location='cpu'))model.eval() 切换到评估模式(关闭 Dropout 等),no_grad() 省内存。课堂代码片段:可能承接前页变量。第一次上机请从完整实验开始,先运行数据准备,再运行训练与评估。
小结对应幻灯片 PPT 第 12 页
- 1张量多维数组 + 自动求导 + GPU
- 2定义网络继承 nn.Module,forward 写前向
- 3训练五步清零 → 前向 → 损失 → 反向 → 更新
- 4DataLoader分批、打乱、并行加载
- 5诊断画损失曲线,看收敛与过拟合
思考题对应幻灯片 PPT 第 13 页
PyTorch 训练循环中,为什么每次迭代要先 optimizer.zero_grad()?
- 清除上一次的梯度,避免累加
- 重置模型参数
- 只是习惯
model.eval() 的作用是?
- 切换到评估模式,关闭 Dropout 等
- 开始训练
- 保存模型
动手任务:交出结果,也交出解释对应幻灯片 PPT 第 17 页
完成实验 C:提交训练/验证曲线、基线与网络的测试 MAE,并说明是否有证据值得使用网络。
提交:一张图或一张结果表 + 150 字解释 + 一个局限。
自查:数据如何划分?比简单猜测好多少?能否推广到新样品?
课后慢读:从会说到会做
第一步:合上公式,解释问题
先回答“怎样把一个网络完整地训练起来?”。把训练想成反复改作业:算答案、看错多少、找各参数的责任、改一点,再做下一轮。验证时只检查,不修改参数。 这个比喻只是帮助入门,模型最终仍要接受独立数据的检验。
第二步:拿小例子核对
预测形状若是 (32, 1),真实值也应是 (32, 1)。误写成 (32,) 可能触发广播,程序能运行却比较错了对象。 请写下中间步骤;不能只抄结论。若换一组数据,你的解释是否仍成立?
第三步:联系专业场景
实验 C 与实验 A 使用同一个模拟材料数据、同一个测试划分,先留出验证集,保存验证误差最低的一次参数。CPU 即可完成。
第四步:提交一个可以检查的结果
完成实验 C:提交训练/验证曲线、基线与网络的测试 MAE,并说明是否有证据值得使用网络。
参考判断与常见误区
回归用浮点目标和 MSE;多分类用 K 个原始分数和整数类别。CrossEntropyLoss 前不再加 Softmax。
报告中分别写“我观察到什么”和“我推测为什么”。观察由图表支持;推测需要进一步实验。分数较低也可以是一份好报告,前提是数据划分合理、分析诚实。
基础达标:运行完整训练循环;检查张量形状;比较基线与网络;保存并恢复参数。进阶再读:GPU 加速、多进程加载和复杂网络结构。
附:PPT 页码对照表
| 页 | 内容 | 放映版深链 |
|---|---|---|
| 14 | 先带着一个问题来学 | 第 14 页 |
| 15 | 先算一个小例子 | 第 15 页 |
| 16 | 把方法带回材料与物理 | 第 16 页 |
| 01 | 两个主流深度学习框架 | 第 1 页 |
| 02 | 一切从张量(Tensor)开始 | 第 2 页 |
| 03 | 自动求导:反向传播的自动实现 | 第 3 页 |
| 04 | 用 nn.Module 定义网络 | 第 4 页 |
| 05 | 三层结构对照 | 第 5 页 |
| 06 | 选定损失与优化器 | 第 6 页 |
| 07 | 训练循环的五步 | 第 7 页 |
| 08 | 训练循环片段:完整实验见实验 C | 第 8 页 |
| 09 | 用 DataLoader 管理数据 | 第 9 页 |
| 10 | 把训练过程画出来 | 第 10 页 |
| 11 | 测试与保存模型 | 第 11 页 |
| 12 | 小结 | 第 12 页 |
| 13 | 思考题 | 第 13 页 |
| 17 | 动手任务:交出结果,也交出解释 | 第 17 页 |