机器学习导论
课程中心/ 机器学习导论/ 阅读资料/ 第 4 讲
交叉验证 · 偏差-方差 · 超参数搜索
LECTURE 04

模型评估与调参

Model Evaluation & Hyperparameter Tuning
第 4 讲 · 交叉验证 · 偏差-方差 · 超参数搜索
学习路线与实践PPT 第 17 页

先带着一个问题来学

怎样知道模型是真的学会了?

训练集像练习册,验证集像模拟考,测试集像最后的考试。反复看最后考试的答案来改模型,就失去独立检验的意义。

学完能做到

区分训练、验证、测试;用 Pipeline 做折内预处理;按预测目标选择划分方式。

第一遍不必深究:平方损失下的偏差方差分解、嵌套交叉验证。

学习路线与实践PPT 第 18 页

先算一个小例子

同一样品测 10 次,把 8 次放训练、2 次放测试,模型可能认出了样品。若目标是预测新样品,就应按样品编号整组划分。

先按样品编号分组训练组:拟合与调参测试组:独立检验
按箭头读一遍,再用自己的话解释。
你来解释:把这个例子用自己的话讲给同桌,指出输入、输出和需要检验的地方。
学习路线与实践PPT 第 19 页

把方法带回材料与物理

实验 B 比较随机按行划分与按样品分组划分。同一样品的重复测量、同一轨迹的相邻构型,不一定是独立的新数据。

本讲要防的误解:两种划分回答不同问题;模型在随机划分中高分,并不能证明它会预测新材料体系。
§4.1 为什么不能只看训练误差PPT 第 01 页

训练误差会骗人

模型在训练集上误差很低,可能只是背下了训练数据,而不是学到了规律。

训练误差
模型在「见过的」数据上的表现
测试误差
模型在「没见过的」数据上的表现,才是真正关心的
注意泛化能力(generalization)= 在新数据上的表现。训练误差低 ≠ 泛化好。
§4.2 数据划分PPT 第 02 页

训练 / 验证 / 测试三份数据

数据集用途注意
训练集拟合模型参数占比最大
验证集调超参数、选模型不直接学参数
测试集最终评估只准用一次,不能偷看
说明为什么测试集只能「用一次」?反复在测试集上调,等于让测试集泄漏成了训练信息,评估就失真了。
§4.2 数据划分PPT 第 03 页

hold-out 划分

最朴素的做法:随机留出一部分做测试,其余训练。常见比例 70/30 或 80/20。

train_test_split.pyPython
from sklearn.model_selection import train_test_split

X_train, X_test, y_train, y_test = train_test_split(
    X, y, test_size=0.25, random_state=0)

# random_state 固定随机种子,保证结果可复现
注意缺点:划分是随机的,结果对「怎么分」敏感。数据少时,运气成分大。

课堂代码片段:可能承接前页变量。第一次上机请从完整实验开始,先运行数据准备,再运行训练与评估。

§4.3 交叉验证PPT 第 04 页

K 折交叉验证

把数据分成 $K$ 份,轮流用一份做验证、其余 $K-1$ 份训练,取 $K$ 次结果的平均。

  1. 1切分
    把训练集均分成 $K$ 折(fold)
  2. 2轮转
    第 $i$ 折做验证,其余做训练,重复 $K$ 次
  3. 3平均
    取 $K$ 次评分的均值作为最终估计
要点$K$ 常取 5 或 10。每个样本都被「验证」过恰好一次,评估比单次 hold-out 更稳定。
§4.3 交叉验证PPT 第 05 页

交叉验证实战

cross_val_score.pyPython
from sklearn.model_selection import cross_val_score
from sklearn.linear_model import LogisticRegression

clf = LogisticRegression()
scores = cross_val_score(clf, X, y, cv=5)

print('各折分数:', scores)
print('均值    :', scores.mean())
print('标准差  :', scores.std())
说明均值反映「大致多好」,标准差反映「稳不稳」。两者都要看。

课堂代码片段:可能承接前页变量。第一次上机请从完整实验开始,先运行数据准备,再运行训练与评估。

§4.4 偏差与方差PPT 第 06 页

误差可以拆成三部分

$$\mathbb{E}\big[(y-\hat f(x))^2\big] =\underbrace{\text{Bias}^2}_{\text{偏差}^2} +\underbrace{\text{Variance}}_{\text{方差}} +\underbrace{\sigma^2}_{\text{不可约噪声}}$$
要点这三项是偏差-方差分解(bias–variance decomposition),这里针对平方损失,并对训练数据的随机性取期望;不是任意指标都能照搬的等式。
§4.4 偏差与方差PPT 第 07 页

偏差 vs 方差

先用一句话理解:可以粗看成“规则太死”和“对抽到哪批数据太敏感”;这是帮助诊断的直觉。

高偏差(欠拟合)
模型太简单,即便换一批训练数据,结论也差不多错——「总是射偏」
高方差(过拟合)
模型太复杂,对训练数据的细微变化过度敏感——「每次射的落点乱跳」
注意权衡(trade-off):模型变复杂 → 偏差降、方差升。目标是找到平衡点,让总误差最小。
§4.4 偏差与方差PPT 第 08 页

识别欠拟合还是过拟合

现象判断对策
训练误差高、测试误差也高欠拟合加特征、换复杂模型
训练误差低、测试误差高过拟合正则化、加数据、降复杂度
两者都低且接近合适保持
说明一个实用判据:训练误差与测试误差的差距。差距大 = 方差大(过拟合)。
§4.5 学习曲线PPT 第 09 页

用学习曲线诊断

横轴是训练样本数,纵轴是误差,同时画训练误差与验证误差两条线。

过拟合
两条线之间留一道明显的「沟」:训练误差低、验证误差高,且不随数据增多而靠拢
欠拟合
两条线都很高且挤在一起,加数据也无济于事
说明学习曲线是判断「该加数据」还是「该改模型」的好工具:过拟合加数据有效,欠拟合加数据没用。
§4.6 超参数搜索PPT 第 10 页

参数 vs 超参数

类型谁决定的例子
参数从数据学出来的线性回归的 $\mathbf{w}$、神经网络的权重
超参数人预先设定的学习率、正则强度、树深度、折数 $K$
说明调参通常指调超参数。不要按训练误差选它;在训练数据内部做交叉验证,或使用独立验证集。
§4.6 超参数搜索PPT 第 11 页

网格搜索 Grid Search

给每个超参数列出一组候选值,穷举所有组合,用交叉验证挑最好的。

grid_search.pyPython
from sklearn.model_selection import GridSearchCV
from sklearn.linear_model import Ridge

param_grid = {'alpha': [0.01, 0.1, 1, 10, 100]}
gs = GridSearchCV(Ridge(), param_grid, cv=5)
gs.fit(X_train, y_train)

print('最佳参数:', gs.best_params_)
print('最佳分数:', gs.best_score_)
注意网格搜索是穷举,候选多时组合爆炸,计算量随维度指数增长。

课堂代码片段:可能承接前页变量。第一次上机请从完整实验开始,先运行数据准备,再运行训练与评估。

§4.6 超参数搜索PPT 第 12 页

随机搜索 Random Search

不穷举,而是在参数空间里随机采样若干组合。

random_search.pyPython
from sklearn.model_selection import RandomizedSearchCV
from scipy.stats import uniform

param_dist = {'alpha': uniform(0.001, 100)}
rs = RandomizedSearchCV(Ridge(), param_dist,
                        n_iter=20, cv=5, random_state=0)
rs.fit(X_train, y_train)
print(rs.best_params_)
要点实践中随机搜索常比网格更高效:同样预算下能探索更多「维度」的不同取值。

课堂代码片段:可能承接前页变量。第一次上机请从完整实验开始,先运行数据准备,再运行训练与评估。

§4.7 数据泄漏PPT 第 13 页

一个隐蔽的坑:数据泄漏

把测试集的信息「泄漏」进训练过程,会让评估虚高。

先标准化再划分
✗ 错误:用全体数据的均值/方差做标准化,测试集信息渗入训练
先划分再标准化
✓ 正确:只用训练集的统计量,再套用到测试集
注意标准化、特征选择、缺失值填充等预处理,都必须在划分之后、只用训练集来拟合。这是新手最常见的坑。
§4.7 数据泄漏PPT 第 14 页

用 Pipeline 防止预处理泄漏

pipeline.pyPython
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler
from sklearn.linear_model import LogisticRegression

pipe = make_pipeline(StandardScaler(), LogisticRegression())

# 交叉验证时,标准化只针对每折的训练部分
scores = cross_val_score(pipe, X, y, cv=5)
要点Pipeline 把「预处理 + 模型」串成一体,交叉验证时每一步都只在训练折上拟合,可避免折间预处理泄漏;重复样品、时间关系和目标信息仍需单独检查。

课堂代码片段:可能承接前页变量。第一次上机请从完整实验开始,先运行数据准备,再运行训练与评估。

§4.8 小结PPT 第 15 页

小结

  1. 1划分
    训练 / 验证 / 测试,测试集只用一次
  2. 2交叉验证
    K 折平均,评估更稳
  3. 3诊断
    偏差-方差分解 + 学习曲线
  4. 4调参
    网格 / 随机搜索,配合交叉验证
  5. 5防泄漏
    预处理放 Pipeline,先划分再变换
§4.9 思考PPT 第 16 页

思考题

Q1

模型训练误差 2%、测试误差 30%,最可能是?

  • 欠拟合
  • 过拟合
  • 数据太多
B。训练与测试差距巨大 = 高方差 = 过拟合。
Q2

K 折交叉验证相比单次 hold-out 的主要优势是?

  • 更快
  • 评估更稳定、方差更小
  • 不需要测试集
B。多次轮转取平均,降低了对单次划分的依赖。
学习路线与实践PPT 第 20 页

动手任务:交出结果,也交出解释

完成实验 B:记录两种划分的 MAE,检查样品编号交集,并写明你的研究要预测新测量还是新样品。

提交:一张图或一张结果表 + 150 字解释 + 一个局限。

自查:数据如何划分?比简单猜测好多少?能否推广到新样品?

打开实验与结课项目指南

1 / 1 100%

幻灯片目录

← → 翻页 空格 下一页 F 全屏 O / Esc 目录 数字键 1-9 快速跳页 字号:= 放大 / − 缩小 / 0 复位