先带着一个问题来学对应幻灯片 PPT 第 17 页
怎样知道模型是真的学会了?
训练集像练习册,验证集像模拟考,测试集像最后的考试。反复看最后考试的答案来改模型,就失去独立检验的意义。
学完能做到
区分训练、验证、测试;用 Pipeline 做折内预处理;按预测目标选择划分方式。
第一遍不必深究:平方损失下的偏差方差分解、嵌套交叉验证。
先算一个小例子对应幻灯片 PPT 第 18 页
同一样品测 10 次,把 8 次放训练、2 次放测试,模型可能认出了样品。若目标是预测新样品,就应按样品编号整组划分。
把方法带回材料与物理对应幻灯片 PPT 第 19 页
实验 B 比较随机按行划分与按样品分组划分。同一样品的重复测量、同一轨迹的相邻构型,不一定是独立的新数据。
训练误差会骗人对应幻灯片 PPT 第 1 页
模型在训练集上误差很低,可能只是背下了训练数据,而不是学到了规律。
训练 / 验证 / 测试三份数据对应幻灯片 PPT 第 2 页
| 数据集 | 用途 | 注意 |
|---|---|---|
| 训练集 | 拟合模型参数 | 占比最大 |
| 验证集 | 调超参数、选模型 | 不直接学参数 |
| 测试集 | 最终评估 | 只准用一次,不能偷看 |
hold-out 划分对应幻灯片 PPT 第 3 页
最朴素的做法:随机留出一部分做测试,其余训练。常见比例 70/30 或 80/20。
from sklearn.model_selection import train_test_split
X_train, X_test, y_train, y_test = train_test_split(
X, y, test_size=0.25, random_state=0)
# random_state 固定随机种子,保证结果可复现课堂代码片段:可能承接前页变量。第一次上机请从完整实验开始,先运行数据准备,再运行训练与评估。
K 折交叉验证对应幻灯片 PPT 第 4 页
把数据分成 $K$ 份,轮流用一份做验证、其余 $K-1$ 份训练,取 $K$ 次结果的平均。
- 1切分把训练集均分成 $K$ 折(fold)
- 2轮转第 $i$ 折做验证,其余做训练,重复 $K$ 次
- 3平均取 $K$ 次评分的均值作为最终估计
交叉验证实战对应幻灯片 PPT 第 5 页
from sklearn.model_selection import cross_val_score
from sklearn.linear_model import LogisticRegression
clf = LogisticRegression()
scores = cross_val_score(clf, X, y, cv=5)
print('各折分数:', scores)
print('均值 :', scores.mean())
print('标准差 :', scores.std())课堂代码片段:可能承接前页变量。第一次上机请从完整实验开始,先运行数据准备,再运行训练与评估。
误差可以拆成三部分对应幻灯片 PPT 第 6 页
偏差 vs 方差对应幻灯片 PPT 第 7 页
先用一句话理解:可以粗看成“规则太死”和“对抽到哪批数据太敏感”;这是帮助诊断的直觉。
识别欠拟合还是过拟合对应幻灯片 PPT 第 8 页
| 现象 | 判断 | 对策 |
|---|---|---|
| 训练误差高、测试误差也高 | 欠拟合 | 加特征、换复杂模型 |
| 训练误差低、测试误差高 | 过拟合 | 正则化、加数据、降复杂度 |
| 两者都低且接近 | 合适 | 保持 |
用学习曲线诊断对应幻灯片 PPT 第 9 页
横轴是训练样本数,纵轴是误差,同时画训练误差与验证误差两条线。
参数 vs 超参数对应幻灯片 PPT 第 10 页
| 类型 | 谁决定的 | 例子 |
|---|---|---|
| 参数 | 从数据学出来的 | 线性回归的 $\mathbf{w}$、神经网络的权重 |
| 超参数 | 人预先设定的 | 学习率、正则强度、树深度、折数 $K$ |
网格搜索 Grid Search对应幻灯片 PPT 第 11 页
给每个超参数列出一组候选值,穷举所有组合,用交叉验证挑最好的。
from sklearn.model_selection import GridSearchCV
from sklearn.linear_model import Ridge
param_grid = {'alpha': [0.01, 0.1, 1, 10, 100]}
gs = GridSearchCV(Ridge(), param_grid, cv=5)
gs.fit(X_train, y_train)
print('最佳参数:', gs.best_params_)
print('最佳分数:', gs.best_score_)课堂代码片段:可能承接前页变量。第一次上机请从完整实验开始,先运行数据准备,再运行训练与评估。
随机搜索 Random Search对应幻灯片 PPT 第 12 页
不穷举,而是在参数空间里随机采样若干组合。
from sklearn.model_selection import RandomizedSearchCV
from scipy.stats import uniform
param_dist = {'alpha': uniform(0.001, 100)}
rs = RandomizedSearchCV(Ridge(), param_dist,
n_iter=20, cv=5, random_state=0)
rs.fit(X_train, y_train)
print(rs.best_params_)课堂代码片段:可能承接前页变量。第一次上机请从完整实验开始,先运行数据准备,再运行训练与评估。
一个隐蔽的坑:数据泄漏对应幻灯片 PPT 第 13 页
把测试集的信息「泄漏」进训练过程,会让评估虚高。
用 Pipeline 防止预处理泄漏对应幻灯片 PPT 第 14 页
from sklearn.pipeline import make_pipeline from sklearn.preprocessing import StandardScaler from sklearn.linear_model import LogisticRegression pipe = make_pipeline(StandardScaler(), LogisticRegression()) # 交叉验证时,标准化只针对每折的训练部分 scores = cross_val_score(pipe, X, y, cv=5)
Pipeline 把「预处理 + 模型」串成一体,交叉验证时每一步都只在训练折上拟合,可避免折间预处理泄漏;重复样品、时间关系和目标信息仍需单独检查。课堂代码片段:可能承接前页变量。第一次上机请从完整实验开始,先运行数据准备,再运行训练与评估。
小结对应幻灯片 PPT 第 15 页
- 1划分训练 / 验证 / 测试,测试集只用一次
- 2交叉验证K 折平均,评估更稳
- 3诊断偏差-方差分解 + 学习曲线
- 4调参网格 / 随机搜索,配合交叉验证
- 5防泄漏预处理放 Pipeline,先划分再变换
思考题对应幻灯片 PPT 第 16 页
模型训练误差 2%、测试误差 30%,最可能是?
- 欠拟合
- 过拟合
- 数据太多
K 折交叉验证相比单次 hold-out 的主要优势是?
- 更快
- 评估更稳定、方差更小
- 不需要测试集
动手任务:交出结果,也交出解释对应幻灯片 PPT 第 20 页
完成实验 B:记录两种划分的 MAE,检查样品编号交集,并写明你的研究要预测新测量还是新样品。
提交:一张图或一张结果表 + 150 字解释 + 一个局限。
自查:数据如何划分?比简单猜测好多少?能否推广到新样品?
课后慢读:从会说到会做
第一步:合上公式,解释问题
先回答“怎样知道模型是真的学会了?”。训练集像练习册,验证集像模拟考,测试集像最后的考试。反复看最后考试的答案来改模型,就失去独立检验的意义。 这个比喻只是帮助入门,模型最终仍要接受独立数据的检验。
第二步:拿小例子核对
同一样品测 10 次,把 8 次放训练、2 次放测试,模型可能认出了样品。若目标是预测新样品,就应按样品编号整组划分。 请写下中间步骤;不能只抄结论。若换一组数据,你的解释是否仍成立?
第三步:联系专业场景
实验 B 比较随机按行划分与按样品分组划分。同一样品的重复测量、同一轨迹的相邻构型,不一定是独立的新数据。
第四步:提交一个可以检查的结果
完成实验 B:记录两种划分的 MAE,检查样品编号交集,并写明你的研究要预测新测量还是新样品。
参考判断与常见误区
两种划分回答不同问题;模型在随机划分中高分,并不能证明它会预测新材料体系。
报告中分别写“我观察到什么”和“我推测为什么”。观察由图表支持;推测需要进一步实验。分数较低也可以是一份好报告,前提是数据划分合理、分析诚实。
基础达标:区分训练、验证、测试;用 Pipeline 做折内预处理;按预测目标选择划分方式。进阶再读:平方损失下的偏差方差分解、嵌套交叉验证。
附:PPT 页码对照表
| 页 | 内容 | 放映版深链 |
|---|---|---|
| 17 | 先带着一个问题来学 | 第 17 页 |
| 18 | 先算一个小例子 | 第 18 页 |
| 19 | 把方法带回材料与物理 | 第 19 页 |
| 01 | 训练误差会骗人 | 第 1 页 |
| 02 | 训练 / 验证 / 测试三份数据 | 第 2 页 |
| 03 | hold-out 划分 | 第 3 页 |
| 04 | K 折交叉验证 | 第 4 页 |
| 05 | 交叉验证实战 | 第 5 页 |
| 06 | 误差可以拆成三部分 | 第 6 页 |
| 07 | 偏差 vs 方差 | 第 7 页 |
| 08 | 识别欠拟合还是过拟合 | 第 8 页 |
| 09 | 用学习曲线诊断 | 第 9 页 |
| 10 | 参数 vs 超参数 | 第 10 页 |
| 11 | 网格搜索 Grid Search | 第 11 页 |
| 12 | 随机搜索 Random Search | 第 12 页 |
| 13 | 一个隐蔽的坑:数据泄漏 | 第 13 页 |
| 14 | 用 Pipeline 防止预处理泄漏 | 第 14 页 |
| 15 | 小结 | 第 15 页 |
| 16 | 思考题 | 第 16 页 |
| 20 | 动手任务:交出结果,也交出解释 | 第 20 页 |