怎样把一个网络完整地训练起来?
把训练想成反复改作业:算答案、看错多少、找各参数的责任、改一点,再做下一轮。验证时只检查,不修改参数。
运行完整训练循环;检查张量形状;比较基线与网络;保存并恢复参数。
第一遍不必深究:GPU 加速、多进程加载和复杂网络结构。
预测形状若是 (32, 1),真实值也应是 (32, 1)。误写成 (32,) 可能触发广播,程序能运行却比较错了对象。
实验 C 与实验 A 使用同一个模拟材料数据、同一个测试划分,先留出验证集,保存验证误差最低的一次参数。CPU 即可完成。
| 框架 | 特点 |
|---|---|
| PyTorch | 本课使用:用 Python 组织张量计算与自动求导 |
| TensorFlow | 另一种支持自动求导与模型训练的工具 |
张量就是「多维数组」,是 PyTorch 的基本数据结构,可以放到 GPU 上加速。
import torch x = torch.tensor([1.0, 2.0, 3.0]) # 一维张量 A = torch.randn(3, 4) # 3x4 随机张量 print(x.shape, A.shape) # 自动求导的开关 w = torch.tensor(2.0, requires_grad=True)
课堂代码片段:可能承接前页变量。第一次上机请从完整实验开始,先运行数据准备,再运行训练与评估。
先用一句话理解:从最后的错误往前追,算出每个参数对错误的影响,再交给优化器更新。
第 8 讲说反向传播是链式法则。PyTorch 的 autograd 帮你自动算梯度。
import torch x = torch.tensor(3.0, requires_grad=True) y = x ** 2 # y = x^2 y.backward() # 反向传播 print(x.grad) # dy/dx = 2x = 6.0
backward() 一句自动算好所有梯度,完全不用手推链式法则。课堂代码片段:可能承接前页变量。第一次上机请从完整实验开始,先运行数据准备,再运行训练与评估。
import torch.nn as nn
class MLP(nn.Module):
def __init__(self, in_dim, hidden, out_dim):
super().__init__()
self.net = nn.Sequential(
nn.Linear(in_dim, hidden),
nn.ReLU(),
nn.Linear(hidden, out_dim),
)
def forward(self, x):
return self.net(x)nn.Module,在 forward 里定义前向计算。nn.Sequential 把层按顺序串起来。课堂代码片段:可能承接前页变量。第一次上机请从完整实验开始,先运行数据准备,再运行训练与评估。
nn.Linear(in_dim, hidden),特征进nn.Linear + nn.ReLU(),非线性变换nn.Linear(hidden, out_dim),回归 1 维 / 分类 K 维import torch.nn as nn import torch.optim as optim model = MLP(in_dim=4, hidden=32, out_dim=1) # 回归 → MSE;分类 → CrossEntropyLoss criterion = nn.MSELoss() optimizer = optim.Adam(model.parameters(), lr=1e-3)
model.parameters()。多分类还需把输出改为 K 维,标签改为一维整数类别;不能只换损失函数。课堂代码片段:可能承接前页变量。第一次上机请从完整实验开始,先运行数据准备,再运行训练与评估。
optimizer.zero_grad()out = model(x) 算预测loss = criterion(out, y)loss.backward() 算梯度optimizer.step() 更新参数for epoch in range(200):
optimizer.zero_grad()
out = model(X_train)
loss = criterion(out, y_train)
loss.backward()
optimizer.step()
if epoch % 20 == 0:
print(f'epoch {epoch}: loss = {loss.item():.4f}')课堂代码片段:可能承接前页变量。第一次上机请从完整实验开始,先运行数据准备,再运行训练与评估。
真实数据量大,需要分批次、打乱、并行加载。DataLoader 一站式搞定。
from torch.utils.data import TensorDataset, DataLoader
ds = TensorDataset(X_train, y_train)
loader = DataLoader(ds, batch_size=32, shuffle=True)
for xb, yb in loader:
out = model(xb)
loss = criterion(out, yb)
# ... backward + stepbatch_size 每次喂多少样本,shuffle=True 每轮打乱,帮助收敛。课堂代码片段:可能承接前页变量。第一次上机请从完整实验开始,先运行数据准备,再运行训练与评估。
import matplotlib.pyplot as plt
history = [] # 每个 epoch 记录一次损失
for epoch in range(200):
# ... 训练五步 ...
history.append(loss.item())
plt.plot(history)
plt.xlabel('epoch')
plt.ylabel('loss')
plt.show()课堂代码片段:可能承接前页变量。第一次上机请从完整实验开始,先运行数据准备,再运行训练与评估。
# 评估时关掉梯度,节省内存
model.eval()
with torch.no_grad():
pred = model(X_test)
# 保存参数(恢复前须建立相同结构)
torch.save(model.state_dict(), 'model.pth')
# 加载
model.load_state_dict(torch.load('model.pth', weights_only=True, map_location='cpu'))model.eval() 切换到评估模式(关闭 Dropout 等),no_grad() 省内存。课堂代码片段:可能承接前页变量。第一次上机请从完整实验开始,先运行数据准备,再运行训练与评估。
PyTorch 训练循环中,为什么每次迭代要先 optimizer.zero_grad()?
model.eval() 的作用是?
完成实验 C:提交训练/验证曲线、基线与网络的测试 MAE,并说明是否有证据值得使用网络。
提交:一张图或一张结果表 + 150 字解释 + 一个局限。
自查:数据如何划分?比简单猜测好多少?能否推广到新样品?