先带着一个问题来学对应幻灯片 PPT 第 19 页
怎样用一条直线预测数值?
把直尺放在散点中间,调整高度和倾斜程度,让点到直线的差距总体更小。训练就是寻找这两个旋钮的合适位置。
学完能做到
解释斜率和误差;画预测值与真实值图;比较模型与均值基线。
第一遍不必深究:正规方程矩阵推导、L1 稀疏性的几何解释。
先算一个小例子对应幻灯片 PPT 第 20 页
真实值是 2、4,预测是 3、3:误差为 −1、1,相加是 0,但平方和是 2。平方避免正负抵消;平均绝对误差 MAE 则是 1。
| 真实值 | 预测值 | 误差 | 误差平方 |
|---|---|---|---|
| 2 | 3 | −1 | 1 |
| 4 | 3 | 1 | 1 |
把方法带回材料与物理对应幻灯片 PPT 第 21 页
实验 A 用模拟的温度、成分、粒径预测“教学响应”。数值仅为教学构造,不是材料定律;先与“总猜训练集平均值”比较。
回到西瓜:预测含糖量对应幻灯片 PPT 第 1 页
回归任务要预测连续数值。设想我们希望由西瓜的密度大致预测它的含糖量(二者大致线性相关):
| 符号 | 含义 |
|---|---|
| $x$ | 输入特征(西瓜密度 $\rho$) |
| $y$ | 真实值(含糖量) |
| $\hat y$ | 模型预测值 |
| $w_0$ | 截距(intercept) |
| $w_1$ | 斜率(slope) |
「最好」是什么标准对应幻灯片 PPT 第 2 页
给定 $n$ 个样本 $(x_i, y_i)$,我们希望预测值 $\hat y_i = w_0 + w_1 x_i$ 尽量接近 $y_i$。
用残差 $r_i = y_i - \hat y_i$ 衡量差距。把每个残差平方再求和,得到损失函数:
平方有两个好处:① 正负误差不会抵消;② 大误差被放大,模型更重视偏差大的点。
损失函数的形状对应幻灯片 PPT 第 3 页
把 $J(w_0, w_1)$ 看成参数平面上的一块「地形」,我们的目标是找到谷底。
直接求解:正规方程对应幻灯片 PPT 第 4 页
拓展阅读 · 第一遍可先看结论,再回到必学主线。
在设计矩阵列满秩、相应矩阵可逆时,令 $J$ 对参数的偏导数为零,可以解出解析表达式。用矩阵记号($\mathbf{X}$ 加一列 1 表示截距):
但代价是矩阵求逆:当特征数 $p$ 很大时,$(\mathbf{X}^{\top}\mathbf{X})^{-1}$ 是 $p\times p$ 的求逆,代价 $O(p^3)$,会变慢。
闭式解:最小二乘的推导对应幻灯片 PPT 第 5 页
拓展阅读 · 第一遍可先看结论,再回到必学主线。
- 1写损失$J(\mathbf{w}) = \|\mathbf{y} - \mathbf{X}\mathbf{w}\|^2 = (\mathbf{y}-\mathbf{X}\mathbf{w})^{\top}(\mathbf{y}-\mathbf{X}\mathbf{w})$
- 2求梯度$\nabla_{\mathbf{w}} J = -2\mathbf{X}^{\top}(\mathbf{y}-\mathbf{X}\mathbf{w})$
- 3令为零$\mathbf{X}^{\top}\mathbf{X}\mathbf{w} = \mathbf{X}^{\top}\mathbf{y}$
- 4解出$\mathbf{w} = (\mathbf{X}^{\top}\mathbf{X})^{-1}\mathbf{X}^{\top}\mathbf{y}$
当闭式解太贵:迭代法对应幻灯片 PPT 第 6 页
特征很多时求逆太慢,改用梯度下降(gradient descent):沿着负梯度方向一步步下山。
| 符号 | 含义 |
|---|---|
| $\eta$ | 学习率(learning rate),每步迈多大 |
| $\partial J/\partial w_j$ | 损失关于第 $j$ 个参数的梯度 |
学习率的选择对应幻灯片 PPT 第 7 页
先用一句话理解:每次修改参数的步幅。太大可能越过好位置,太小可能需要更多轮。
梯度下降的伪代码对应幻灯片 PPT 第 8 页
先用一句话理解:梯度指出局部上升最快的方向;沿反方向走一小步,希望降低损失。
多元线性回归对应幻灯片 PPT 第 9 页
现实里含糖量由多个特征决定(密度、色泽深浅、敲声…),于是:
特征缩放的重要性对应幻灯片 PPT 第 10 页
不同特征量纲差异巨大(如密度约 $0.9$、含糖量百分比约 $0$–$20$),会拖慢梯度下降。
| 方法 | 公式 | 效果 |
|---|---|---|
| 标准化 | $x' = \dfrac{x - \mu}{\sigma}$ | 均值 0、方差 1 |
| 归一化 | $x' = \dfrac{x - x_{\min}}{x_{\max}-x_{\min}}$ | 缩到 [0,1] |
高次多项式:从欠拟合到过拟合对应幻灯片 PPT 第 11 页
一元线性模型太简单。换成 $d$ 次多项式 $\hat y = w_0 + w_1 x + \cdots + w_d x^d$ 能拟合更多形状,但也更容易过拟合。
正则化:给复杂模型「踩刹车」对应幻灯片 PPT 第 12 页
先用一句话理解:除了要求答得准,还限制模型不要把参数调得过于极端。强度太大也会学不好。
过拟合往往表现为参数 $w_j$ 的绝对值很大(曲线剧烈摆动)。正则化在损失里加一项,惩罚大参数:
L1 与 L2 的区别对应幻灯片 PPT 第 13 页
| 正则 | 惩罚项 | 特点 |
|---|---|---|
| 岭回归 L2 | $\lambda\sum_j w_j^2$ | 把参数整体压小,但不稀疏 |
| Lasso L1 | $\lambda\sum_j |w_j|$ | 能把某些参数压成精确 0,自动做特征选择 |
用 scikit-learn 做线性回归对应幻灯片 PPT 第 14 页
from sklearn.linear_model import LinearRegression
from sklearn.preprocessing import PolynomialFeatures
import numpy as np
# 模拟:含糖量随密度近似线性,加一点噪声
rng = np.random.RandomState(0)
x = rng.uniform(0.6, 1.0, size=50).reshape(-1, 1)
y = 1.0 + 18.0 * (x.ravel() - 0.6) + rng.normal(0, 0.8, 50)
model = LinearRegression()
model.fit(x, y)
print('w1 =', model.coef_[0]) # 斜率,应接近 18.0
print('w0 =', model.intercept_) # 截距,应接近 -9.8:1 - 18 × 0.6fit(x, y) 一行完成训练,coef_ 与 intercept_ 给出学到的参数。课堂代码片段:可能承接前页变量。第一次上机请从完整实验开始,先运行数据准备,再运行训练与评估。
岭回归与 Lasso 一行切换对应幻灯片 PPT 第 15 页
from sklearn.linear_model import Ridge, Lasso ridge = Ridge(alpha=0.1) # alpha 控制正则强度 ridge.fit(x, y) lasso = Lasso(alpha=0.1) lasso.fit(x, y)
alpha(与损失的归一化约定一起决定惩罚大小)。调它和调学习率一样,对数尺度试。课堂代码片段:可能承接前页变量。第一次上机请从完整实验开始,先运行数据准备,再运行训练与评估。
几种损失函数一览对应幻灯片 PPT 第 16 页
| 名称 | 公式 | 用途 |
|---|---|---|
| 平方损失(MSE) | $\dfrac1n\sum(y_i-\hat y_i)^2$ | 回归(本讲主角) |
| 绝对损失(MAE) | $\dfrac1n\sum|y_i-\hat y_i|$ | 回归,对异常值更稳健 |
| Huber 损失 | 两者混合 | 回归,兼顾两者优点 |
| 交叉熵 | 见第 3 讲 | 分类 |
小结对应幻灯片 PPT 第 17 页
- 1目标找一条(超)直线 $\hat y = \mathbf{w}\cdot\mathbf{x} + w_0$ 最好地拟合数据
- 2损失最小二乘:误差平方和 $J = \sum(y_i-\hat y_i)^2$
- 3求解闭式解(正规方程)或梯度下降(迭代)
- 4防过拟合正则化:L2(岭回归)/ L1(Lasso)
- 5超参数学习率 $\eta$、正则强度 $\lambda$、多项式次数 $d$
思考题对应幻灯片 PPT 第 18 页
梯度下降每次更新都沿负梯度方向,那么学习率 $\eta$ 越大,收敛越快,对吗?
- 对,越大越快
- 不对,过大可能震荡或发散
- 无所谓,总能收敛
Lasso(L1)相比岭回归(L2)的独特优势是?
- 总能更准
- 能做特征选择(把部分参数压成 0)
- 不需要调参
动手任务:交出结果,也交出解释对应幻灯片 PPT 第 22 页
完成实验 A:记录均值基线、线性回归和随机森林的测试 MAE;解释哪种更好以及好多少。
提交:一张图或一张结果表 + 150 字解释 + 一个局限。
自查:数据如何划分?比简单猜测好多少?能否推广到新样品?
课后慢读:从会说到会做
第一步:合上公式,解释问题
先回答“怎样用一条直线预测数值?”。把直尺放在散点中间,调整高度和倾斜程度,让点到直线的差距总体更小。训练就是寻找这两个旋钮的合适位置。 这个比喻只是帮助入门,模型最终仍要接受独立数据的检验。
第二步:拿小例子核对
真实值是 2、4,预测是 3、3:误差为 −1、1,相加是 0,但平方和是 2。平方避免正负抵消;平均绝对误差 MAE 则是 1。 请写下中间步骤;不能只抄结论。若换一组数据,你的解释是否仍成立?
第三步:联系专业场景
实验 A 用模拟的温度、成分、粒径预测“教学响应”。数值仅为教学构造,不是材料定律;先与“总猜训练集平均值”比较。
第四步:提交一个可以检查的结果
完成实验 A:记录均值基线、线性回归和随机森林的测试 MAE;解释哪种更好以及好多少。
参考判断与常见误区
MAE 与目标使用相同单位。差 1 eV 和差 1 meV 的科学含义不同;模拟响应没有真实物理单位。
报告中分别写“我观察到什么”和“我推测为什么”。观察由图表支持;推测需要进一步实验。分数较低也可以是一份好报告,前提是数据划分合理、分析诚实。
基础达标:解释斜率和误差;画预测值与真实值图;比较模型与均值基线。进阶再读:正规方程矩阵推导、L1 稀疏性的几何解释。
附:PPT 页码对照表
| 页 | 内容 | 放映版深链 |
|---|---|---|
| 19 | 先带着一个问题来学 | 第 19 页 |
| 20 | 先算一个小例子 | 第 20 页 |
| 21 | 把方法带回材料与物理 | 第 21 页 |
| 01 | 回到西瓜:预测含糖量 | 第 1 页 |
| 02 | 「最好」是什么标准 | 第 2 页 |
| 03 | 损失函数的形状 | 第 3 页 |
| 04 | 直接求解:正规方程 | 第 4 页 |
| 05 | 闭式解:最小二乘的推导 | 第 5 页 |
| 06 | 当闭式解太贵:迭代法 | 第 6 页 |
| 07 | 学习率的选择 | 第 7 页 |
| 08 | 梯度下降的伪代码 | 第 8 页 |
| 09 | 多元线性回归 | 第 9 页 |
| 10 | 特征缩放的重要性 | 第 10 页 |
| 11 | 高次多项式:从欠拟合到过拟合 | 第 11 页 |
| 12 | 正则化:给复杂模型「踩刹车」 | 第 12 页 |
| 13 | L1 与 L2 的区别 | 第 13 页 |
| 14 | 用 scikit-learn 做线性回归 | 第 14 页 |
| 15 | 岭回归与 Lasso 一行切换 | 第 15 页 |
| 16 | 几种损失函数一览 | 第 16 页 |
| 17 | 小结 | 第 17 页 |
| 18 | 思考题 | 第 18 页 |
| 22 | 动手任务:交出结果,也交出解释 | 第 22 页 |