课程中心/机器学习导论/第 04 讲 阅读资料

模型评估与调参

第 04 讲 · 阅读资料 | 对应幻灯片 slide_04.html(共 20 页正文)
交叉验证偏差-方差超参数搜索

先带着一个问题来学对应幻灯片 PPT 第 17 页

怎样知道模型是真的学会了?

训练集像练习册,验证集像模拟考,测试集像最后的考试。反复看最后考试的答案来改模型,就失去独立检验的意义。

学完能做到

区分训练、验证、测试;用 Pipeline 做折内预处理;按预测目标选择划分方式。

第一遍不必深究:平方损失下的偏差方差分解、嵌套交叉验证。

先算一个小例子对应幻灯片 PPT 第 18 页

同一样品测 10 次,把 8 次放训练、2 次放测试,模型可能认出了样品。若目标是预测新样品,就应按样品编号整组划分。

先按样品编号分组训练组:拟合与调参测试组:独立检验
按箭头读一遍,再用自己的话解释。
你来解释:把这个例子用自己的话讲给同桌,指出输入、输出和需要检验的地方。

把方法带回材料与物理对应幻灯片 PPT 第 19 页

实验 B 比较随机按行划分与按样品分组划分。同一样品的重复测量、同一轨迹的相邻构型,不一定是独立的新数据。

本讲要防的误解:两种划分回答不同问题;模型在随机划分中高分,并不能证明它会预测新材料体系。

训练误差会骗人对应幻灯片 PPT 第 1 页

模型在训练集上误差很低,可能只是背下了训练数据,而不是学到了规律。

训练误差
模型在「见过的」数据上的表现
测试误差
模型在「没见过的」数据上的表现,才是真正关心的
注意泛化能力(generalization)= 在新数据上的表现。训练误差低 ≠ 泛化好。

训练 / 验证 / 测试三份数据对应幻灯片 PPT 第 2 页

数据集用途注意
训练集拟合模型参数占比最大
验证集调超参数、选模型不直接学参数
测试集最终评估只准用一次,不能偷看
说明为什么测试集只能「用一次」?反复在测试集上调,等于让测试集泄漏成了训练信息,评估就失真了。

hold-out 划分对应幻灯片 PPT 第 3 页

最朴素的做法:随机留出一部分做测试,其余训练。常见比例 70/30 或 80/20。

train_test_split.pyPython
from sklearn.model_selection import train_test_split

X_train, X_test, y_train, y_test = train_test_split(
    X, y, test_size=0.25, random_state=0)

# random_state 固定随机种子,保证结果可复现
注意缺点:划分是随机的,结果对「怎么分」敏感。数据少时,运气成分大。

课堂代码片段:可能承接前页变量。第一次上机请从完整实验开始,先运行数据准备,再运行训练与评估。

K 折交叉验证对应幻灯片 PPT 第 4 页

把数据分成 $K$ 份,轮流用一份做验证、其余 $K-1$ 份训练,取 $K$ 次结果的平均。

  1. 1切分
    把训练集均分成 $K$ 折(fold)
  2. 2轮转
    第 $i$ 折做验证,其余做训练,重复 $K$ 次
  3. 3平均
    取 $K$ 次评分的均值作为最终估计
要点$K$ 常取 5 或 10。每个样本都被「验证」过恰好一次,评估比单次 hold-out 更稳定。

交叉验证实战对应幻灯片 PPT 第 5 页

cross_val_score.pyPython
from sklearn.model_selection import cross_val_score
from sklearn.linear_model import LogisticRegression

clf = LogisticRegression()
scores = cross_val_score(clf, X, y, cv=5)

print('各折分数:', scores)
print('均值    :', scores.mean())
print('标准差  :', scores.std())
说明均值反映「大致多好」,标准差反映「稳不稳」。两者都要看。

课堂代码片段:可能承接前页变量。第一次上机请从完整实验开始,先运行数据准备,再运行训练与评估。

误差可以拆成三部分对应幻灯片 PPT 第 6 页

$$\mathbb{E}\big[(y-\hat f(x))^2\big] =\underbrace{\text{Bias}^2}_{\text{偏差}^2} +\underbrace{\text{Variance}}_{\text{方差}} +\underbrace{\sigma^2}_{\text{不可约噪声}}$$
要点这三项是偏差-方差分解(bias–variance decomposition),这里针对平方损失,并对训练数据的随机性取期望;不是任意指标都能照搬的等式。

偏差 vs 方差对应幻灯片 PPT 第 7 页

先用一句话理解:可以粗看成“规则太死”和“对抽到哪批数据太敏感”;这是帮助诊断的直觉。

高偏差(欠拟合)
模型太简单,即便换一批训练数据,结论也差不多错——「总是射偏」
高方差(过拟合)
模型太复杂,对训练数据的细微变化过度敏感——「每次射的落点乱跳」
注意权衡(trade-off):模型变复杂 → 偏差降、方差升。目标是找到平衡点,让总误差最小。

识别欠拟合还是过拟合对应幻灯片 PPT 第 8 页

现象判断对策
训练误差高、测试误差也高欠拟合加特征、换复杂模型
训练误差低、测试误差高过拟合正则化、加数据、降复杂度
两者都低且接近合适保持
说明一个实用判据:训练误差与测试误差的差距。差距大 = 方差大(过拟合)。

用学习曲线诊断对应幻灯片 PPT 第 9 页

横轴是训练样本数,纵轴是误差,同时画训练误差与验证误差两条线。

过拟合
两条线之间留一道明显的「沟」:训练误差低、验证误差高,且不随数据增多而靠拢
欠拟合
两条线都很高且挤在一起,加数据也无济于事
说明学习曲线是判断「该加数据」还是「该改模型」的好工具:过拟合加数据有效,欠拟合加数据没用。

参数 vs 超参数对应幻灯片 PPT 第 10 页

类型谁决定的例子
参数从数据学出来的线性回归的 $\mathbf{w}$、神经网络的权重
超参数人预先设定的学习率、正则强度、树深度、折数 $K$
说明调参通常指调超参数。不要按训练误差选它;在训练数据内部做交叉验证,或使用独立验证集。

网格搜索 Grid Search对应幻灯片 PPT 第 11 页

给每个超参数列出一组候选值,穷举所有组合,用交叉验证挑最好的。

grid_search.pyPython
from sklearn.model_selection import GridSearchCV
from sklearn.linear_model import Ridge

param_grid = {'alpha': [0.01, 0.1, 1, 10, 100]}
gs = GridSearchCV(Ridge(), param_grid, cv=5)
gs.fit(X_train, y_train)

print('最佳参数:', gs.best_params_)
print('最佳分数:', gs.best_score_)
注意网格搜索是穷举,候选多时组合爆炸,计算量随维度指数增长。

课堂代码片段:可能承接前页变量。第一次上机请从完整实验开始,先运行数据准备,再运行训练与评估。

随机搜索 Random Search对应幻灯片 PPT 第 12 页

不穷举,而是在参数空间里随机采样若干组合。

random_search.pyPython
from sklearn.model_selection import RandomizedSearchCV
from scipy.stats import uniform

param_dist = {'alpha': uniform(0.001, 100)}
rs = RandomizedSearchCV(Ridge(), param_dist,
                        n_iter=20, cv=5, random_state=0)
rs.fit(X_train, y_train)
print(rs.best_params_)
要点实践中随机搜索常比网格更高效:同样预算下能探索更多「维度」的不同取值。

课堂代码片段:可能承接前页变量。第一次上机请从完整实验开始,先运行数据准备,再运行训练与评估。

一个隐蔽的坑:数据泄漏对应幻灯片 PPT 第 13 页

把测试集的信息「泄漏」进训练过程,会让评估虚高。

先标准化再划分
✗ 错误:用全体数据的均值/方差做标准化,测试集信息渗入训练
先划分再标准化
✓ 正确:只用训练集的统计量,再套用到测试集
注意标准化、特征选择、缺失值填充等预处理,都必须在划分之后、只用训练集来拟合。这是新手最常见的坑。

用 Pipeline 防止预处理泄漏对应幻灯片 PPT 第 14 页

pipeline.pyPython
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler
from sklearn.linear_model import LogisticRegression

pipe = make_pipeline(StandardScaler(), LogisticRegression())

# 交叉验证时,标准化只针对每折的训练部分
scores = cross_val_score(pipe, X, y, cv=5)
要点Pipeline 把「预处理 + 模型」串成一体,交叉验证时每一步都只在训练折上拟合,可避免折间预处理泄漏;重复样品、时间关系和目标信息仍需单独检查。

课堂代码片段:可能承接前页变量。第一次上机请从完整实验开始,先运行数据准备,再运行训练与评估。

小结对应幻灯片 PPT 第 15 页

  1. 1划分
    训练 / 验证 / 测试,测试集只用一次
  2. 2交叉验证
    K 折平均,评估更稳
  3. 3诊断
    偏差-方差分解 + 学习曲线
  4. 4调参
    网格 / 随机搜索,配合交叉验证
  5. 5防泄漏
    预处理放 Pipeline,先划分再变换

思考题对应幻灯片 PPT 第 16 页

Q1

模型训练误差 2%、测试误差 30%,最可能是?

  • 欠拟合
  • 过拟合
  • 数据太多
B。训练与测试差距巨大 = 高方差 = 过拟合。
Q2

K 折交叉验证相比单次 hold-out 的主要优势是?

  • 更快
  • 评估更稳定、方差更小
  • 不需要测试集
B。多次轮转取平均,降低了对单次划分的依赖。

动手任务:交出结果,也交出解释对应幻灯片 PPT 第 20 页

完成实验 B:记录两种划分的 MAE,检查样品编号交集,并写明你的研究要预测新测量还是新样品。

提交:一张图或一张结果表 + 150 字解释 + 一个局限。

自查:数据如何划分?比简单猜测好多少?能否推广到新样品?

打开实验与结课项目指南

课后慢读:从会说到会做

第一步:合上公式,解释问题

先回答“怎样知道模型是真的学会了?”。训练集像练习册,验证集像模拟考,测试集像最后的考试。反复看最后考试的答案来改模型,就失去独立检验的意义。 这个比喻只是帮助入门,模型最终仍要接受独立数据的检验。

第二步:拿小例子核对

同一样品测 10 次,把 8 次放训练、2 次放测试,模型可能认出了样品。若目标是预测新样品,就应按样品编号整组划分。 请写下中间步骤;不能只抄结论。若换一组数据,你的解释是否仍成立?

第三步:联系专业场景

实验 B 比较随机按行划分与按样品分组划分。同一样品的重复测量、同一轨迹的相邻构型,不一定是独立的新数据。

第四步:提交一个可以检查的结果

完成实验 B:记录两种划分的 MAE,检查样品编号交集,并写明你的研究要预测新测量还是新样品。

参考判断与常见误区

两种划分回答不同问题;模型在随机划分中高分,并不能证明它会预测新材料体系。

报告中分别写“我观察到什么”和“我推测为什么”。观察由图表支持;推测需要进一步实验。分数较低也可以是一份好报告,前提是数据划分合理、分析诚实。

基础达标:区分训练、验证、测试;用 Pipeline 做折内预处理;按预测目标选择划分方式。进阶再读:平方损失下的偏差方差分解、嵌套交叉验证。

完整实验、环境安装、结果解读与报告评分标准

附:PPT 页码对照表

页内容放映版深链
17先带着一个问题来学第 17 页
18先算一个小例子第 18 页
19把方法带回材料与物理第 19 页
01训练误差会骗人第 1 页
02训练 / 验证 / 测试三份数据第 2 页
03hold-out 划分第 3 页
04K 折交叉验证第 4 页
05交叉验证实战第 5 页
06误差可以拆成三部分第 6 页
07偏差 vs 方差第 7 页
08识别欠拟合还是过拟合第 8 页
09用学习曲线诊断第 9 页
10参数 vs 超参数第 10 页
11网格搜索 Grid Search第 11 页
12随机搜索 Random Search第 12 页
13一个隐蔽的坑:数据泄漏第 13 页
14用 Pipeline 防止预处理泄漏第 14 页
15小结第 15 页
16思考题第 16 页
20动手任务:交出结果,也交出解释第 20 页
100% = 放大 · − 缩小 · 0 复位