怎样知道模型是真的学会了?
训练集像练习册,验证集像模拟考,测试集像最后的考试。反复看最后考试的答案来改模型,就失去独立检验的意义。
区分训练、验证、测试;用 Pipeline 做折内预处理;按预测目标选择划分方式。
第一遍不必深究:平方损失下的偏差方差分解、嵌套交叉验证。
同一样品测 10 次,把 8 次放训练、2 次放测试,模型可能认出了样品。若目标是预测新样品,就应按样品编号整组划分。
实验 B 比较随机按行划分与按样品分组划分。同一样品的重复测量、同一轨迹的相邻构型,不一定是独立的新数据。
模型在训练集上误差很低,可能只是背下了训练数据,而不是学到了规律。
| 数据集 | 用途 | 注意 |
|---|---|---|
| 训练集 | 拟合模型参数 | 占比最大 |
| 验证集 | 调超参数、选模型 | 不直接学参数 |
| 测试集 | 最终评估 | 只准用一次,不能偷看 |
最朴素的做法:随机留出一部分做测试,其余训练。常见比例 70/30 或 80/20。
from sklearn.model_selection import train_test_split
X_train, X_test, y_train, y_test = train_test_split(
X, y, test_size=0.25, random_state=0)
# random_state 固定随机种子,保证结果可复现课堂代码片段:可能承接前页变量。第一次上机请从完整实验开始,先运行数据准备,再运行训练与评估。
把数据分成 $K$ 份,轮流用一份做验证、其余 $K-1$ 份训练,取 $K$ 次结果的平均。
from sklearn.model_selection import cross_val_score
from sklearn.linear_model import LogisticRegression
clf = LogisticRegression()
scores = cross_val_score(clf, X, y, cv=5)
print('各折分数:', scores)
print('均值 :', scores.mean())
print('标准差 :', scores.std())课堂代码片段:可能承接前页变量。第一次上机请从完整实验开始,先运行数据准备,再运行训练与评估。
先用一句话理解:可以粗看成“规则太死”和“对抽到哪批数据太敏感”;这是帮助诊断的直觉。
| 现象 | 判断 | 对策 |
|---|---|---|
| 训练误差高、测试误差也高 | 欠拟合 | 加特征、换复杂模型 |
| 训练误差低、测试误差高 | 过拟合 | 正则化、加数据、降复杂度 |
| 两者都低且接近 | 合适 | 保持 |
横轴是训练样本数,纵轴是误差,同时画训练误差与验证误差两条线。
| 类型 | 谁决定的 | 例子 |
|---|---|---|
| 参数 | 从数据学出来的 | 线性回归的 $\mathbf{w}$、神经网络的权重 |
| 超参数 | 人预先设定的 | 学习率、正则强度、树深度、折数 $K$ |
给每个超参数列出一组候选值,穷举所有组合,用交叉验证挑最好的。
from sklearn.model_selection import GridSearchCV
from sklearn.linear_model import Ridge
param_grid = {'alpha': [0.01, 0.1, 1, 10, 100]}
gs = GridSearchCV(Ridge(), param_grid, cv=5)
gs.fit(X_train, y_train)
print('最佳参数:', gs.best_params_)
print('最佳分数:', gs.best_score_)课堂代码片段:可能承接前页变量。第一次上机请从完整实验开始,先运行数据准备,再运行训练与评估。
不穷举,而是在参数空间里随机采样若干组合。
from sklearn.model_selection import RandomizedSearchCV
from scipy.stats import uniform
param_dist = {'alpha': uniform(0.001, 100)}
rs = RandomizedSearchCV(Ridge(), param_dist,
n_iter=20, cv=5, random_state=0)
rs.fit(X_train, y_train)
print(rs.best_params_)课堂代码片段:可能承接前页变量。第一次上机请从完整实验开始,先运行数据准备,再运行训练与评估。
把测试集的信息「泄漏」进训练过程,会让评估虚高。
from sklearn.pipeline import make_pipeline from sklearn.preprocessing import StandardScaler from sklearn.linear_model import LogisticRegression pipe = make_pipeline(StandardScaler(), LogisticRegression()) # 交叉验证时,标准化只针对每折的训练部分 scores = cross_val_score(pipe, X, y, cv=5)
Pipeline 把「预处理 + 模型」串成一体,交叉验证时每一步都只在训练折上拟合,可避免折间预处理泄漏;重复样品、时间关系和目标信息仍需单独检查。课堂代码片段:可能承接前页变量。第一次上机请从完整实验开始,先运行数据准备,再运行训练与评估。
模型训练误差 2%、测试误差 30%,最可能是?
K 折交叉验证相比单次 hold-out 的主要优势是?
完成实验 B:记录两种划分的 MAE,检查样品编号交集,并写明你的研究要预测新测量还是新样品。
提交:一张图或一张结果表 + 150 字解释 + 一个局限。
自查:数据如何划分?比简单猜测好多少?能否推广到新样品?