LECTURE 02
线性回归
Linear Regression
第 2 讲 · 最小二乘 · 梯度下降 · 正则化
学习路线与实践PPT 第 19 页
先带着一个问题来学
怎样用一条直线预测数值?
把直尺放在散点中间,调整高度和倾斜程度,让点到直线的差距总体更小。训练就是寻找这两个旋钮的合适位置。
学完能做到
解释斜率和误差;画预测值与真实值图;比较模型与均值基线。
第一遍不必深究:正规方程矩阵推导、L1 稀疏性的几何解释。
学习路线与实践PPT 第 20 页
先算一个小例子
真实值是 2、4,预测是 3、3:误差为 −1、1,相加是 0,但平方和是 2。平方避免正负抵消;平均绝对误差 MAE 则是 1。
你来解释:把这个例子用自己的话讲给同桌,指出输入、输出和需要检验的地方。
学习路线与实践PPT 第 21 页
把方法带回材料与物理
实验 A 用模拟的温度、成分、粒径预测“教学响应”。数值仅为教学构造,不是材料定律;先与“总猜训练集平均值”比较。
本讲要防的误解:MAE 与目标使用相同单位。差 1 eV 和差 1 meV 的科学含义不同;模拟响应没有真实物理单位。
§2.1 问题引入PPT 第 01 页
回到西瓜:预测含糖量
回归任务要预测连续数值。设想我们希望由西瓜的密度大致预测它的含糖量(二者大致线性相关):
$$\hat y = w_0 + w_1 x$$
| 符号 | 含义 |
|---|
| $x$ | 输入特征(西瓜密度 $\rho$) |
| $y$ | 真实值(含糖量) |
| $\hat y$ | 模型预测值 |
| $w_0$ | 截距(intercept) |
| $w_1$ | 斜率(slope) |
说明线性回归要回答的问题:找一条直线,让它最好地穿过这些点。
§2.1 问题引入PPT 第 02 页
「最好」是什么标准
给定 $n$ 个样本 $(x_i, y_i)$,我们希望预测值 $\hat y_i = w_0 + w_1 x_i$ 尽量接近 $y_i$。
用残差 $r_i = y_i - \hat y_i$ 衡量差距。把每个残差平方再求和,得到损失函数:
$$J(w_0, w_1) = \sum_{i=1}^{n} \big(y_i - \hat y_i\big)^2= \sum_{i=1}^{n} \big(y_i - w_0 - w_1 x_i\big)^2$$
要点这就是最小二乘(least squares):选择让「误差平方和」最小的参数。
平方有两个好处:① 正负误差不会抵消;② 大误差被放大,模型更重视偏差大的点。
§2.2 最小二乘的几何直觉PPT 第 03 页
损失函数的形状
把 $J(w_0, w_1)$ 看成参数平面上的一块「地形」,我们的目标是找到谷底。
一元情形
固定截距、且输入不全为零时,$J$ 随斜率变化是开口向上的抛物线。
多元情形
多个参数时,$J$ 是一个「碗」状曲面,谷底即最优解。
说明线性回归的损失函数是凸函数(convex),因此局部最低点也是全局最低点;设计矩阵列满秩时参数解唯一——这是它能被简单算法稳定求解的关键。
§2.3 闭式解PPT 第 04 页
直接求解:正规方程
拓展阅读 · 第一遍可先看结论,再回到必学主线。
在设计矩阵列满秩、相应矩阵可逆时,令 $J$ 对参数的偏导数为零,可以解出解析表达式。用矩阵记号($\mathbf{X}$ 加一列 1 表示截距):
$$\mathbf{w} = \left(\mathbf{X}^{\top}\mathbf{X}\right)^{-1}\mathbf{X}^{\top}\mathbf{y}$$
要点正规方程(normal equation)给出直接求解思路。实际计算通常用数值分解,不建议手工求逆。
但代价是矩阵求逆:当特征数 $p$ 很大时,$(\mathbf{X}^{\top}\mathbf{X})^{-1}$ 是 $p\times p$ 的求逆,代价 $O(p^3)$,会变慢。
§2.3 闭式解PPT 第 05 页
闭式解:最小二乘的推导
拓展阅读 · 第一遍可先看结论,再回到必学主线。
- 1写损失
$J(\mathbf{w}) = \|\mathbf{y} - \mathbf{X}\mathbf{w}\|^2 = (\mathbf{y}-\mathbf{X}\mathbf{w})^{\top}(\mathbf{y}-\mathbf{X}\mathbf{w})$
- 2求梯度
$\nabla_{\mathbf{w}} J = -2\mathbf{X}^{\top}(\mathbf{y}-\mathbf{X}\mathbf{w})$
- 3令为零
$\mathbf{X}^{\top}\mathbf{X}\mathbf{w} = \mathbf{X}^{\top}\mathbf{y}$
- 4解出
$\mathbf{w} = (\mathbf{X}^{\top}\mathbf{X})^{-1}\mathbf{X}^{\top}\mathbf{y}$
注意注意推导中 $\mathbf{X}$ 的第一列全是 1,用来对应截距 $w_0$。
§2.4 梯度下降PPT 第 06 页
当闭式解太贵:迭代法
特征很多时求逆太慢,改用梯度下降(gradient descent):沿着负梯度方向一步步下山。
$$w_j \leftarrow w_j - \eta\,\frac{\partial J}{\partial w_j}$$
| 符号 | 含义 |
|---|
| $\eta$ | 学习率(learning rate),每步迈多大 |
| $\partial J/\partial w_j$ | 损失关于第 $j$ 个参数的梯度 |
说明直觉:梯度指向上升最快的方向,所以取负号就朝下降最快方向走。
§2.4 梯度下降PPT 第 07 页
学习率的选择
先用一句话理解:每次修改参数的步幅。太大可能越过好位置,太小可能需要更多轮。
$\eta$ 太大
步子迈过头,在谷底来回震荡,甚至发散
注意学习率是超参数(不是从数据学来的,是人设定的)。调它的经验:先试 $10^{-3}$、$10^{-2}$、$10^{-1}$ 这种对数尺度。
§2.4 梯度下降PPT 第 08 页
梯度下降的伪代码
先用一句话理解:梯度指出局部上升最快的方向;沿反方向走一小步,希望降低损失。
梯度下降(批量)
输入:数据 X, y;学习率 η;迭代次数 T
初始化 w = 0(或随机小值)
for t = 1 .. T:
g = ∇_w J(w) # 对所有样本求梯度
w ← w − η·g # 更新参数
if ‖g‖ 很小: break # 已接近谷底
输出:w
说明这里每次用全部样本算梯度,叫批量梯度下降。第 8 讲会见到只用一小批样本的随机/小批量版本。
§2.5 从一元到多元PPT 第 09 页
多元线性回归
现实里含糖量由多个特征决定(密度、色泽深浅、敲声…),于是:
$$\hat y = w_0 + w_1 x_1 + w_2 x_2 + \cdots + w_p x_p= \mathbf{w}\cdot\mathbf{x} + w_0$$
要点写成向量内积后,数学形式与一元完全一致——这正是把截距并进 $\mathbf{x}$(补一维常数 1)的妙处。
§2.5 从一元到多元PPT 第 10 页
特征缩放的重要性
不同特征量纲差异巨大(如密度约 $0.9$、含糖量百分比约 $0$–$20$),会拖慢梯度下降。
| 方法 | 公式 | 效果 |
|---|
| 标准化 | $x' = \dfrac{x - \mu}{\sigma}$ | 均值 0、方差 1 |
| 归一化 | $x' = \dfrac{x - x_{\min}}{x_{\max}-x_{\min}}$ | 缩到 [0,1] |
注意特征尺度差太多时,梯度下降会在「狭长山谷」里走之字形,收敛极慢。先缩放,再训练。
§2.6 过拟合与正则化PPT 第 11 页
高次多项式:从欠拟合到过拟合
一元线性模型太简单。换成 $d$ 次多项式 $\hat y = w_0 + w_1 x + \cdots + w_d x^d$ 能拟合更多形状,但也更容易过拟合。
说明多项式次数 $d$ 也是一个超参数,衡量的是「模型复杂度」。
§2.6 过拟合与正则化PPT 第 12 页
正则化:给复杂模型「踩刹车」
先用一句话理解:除了要求答得准,还限制模型不要把参数调得过于极端。强度太大也会学不好。
过拟合往往表现为参数 $w_j$ 的绝对值很大(曲线剧烈摆动)。正则化在损失里加一项,惩罚大参数:
$$J_{\text{reg}}(\mathbf{w}) = \sum_i (y_i - \hat y_i)^2+ \lambda \sum_j |w_j|^q$$
要点$q=2$ 是岭回归(Ridge,L2),$q=1$ 是 Lasso(L1)。$\lambda$ 控制惩罚强度。
§2.6 过拟合与正则化PPT 第 13 页
L1 与 L2 的区别
| 正则 | 惩罚项 | 特点 |
|---|
| 岭回归 L2 | $\lambda\sum_j w_j^2$ | 把参数整体压小,但不稀疏 |
| Lasso L1 | $\lambda\sum_j |w_j|$ | 能把某些参数压成精确 0,自动做特征选择 |
说明L1 的尖角形状让最优解常落在坐标轴上(某些 $w_j=0$),天然具备稀疏性——这是 Lasso 做特征选择的原理。
§2.7 上机:scikit-learnPPT 第 14 页
用 scikit-learn 做线性回归
linear_regression.pyPython
from sklearn.linear_model import LinearRegression
from sklearn.preprocessing import PolynomialFeatures
import numpy as np
# 模拟:含糖量随密度近似线性,加一点噪声
rng = np.random.RandomState(0)
x = rng.uniform(0.6, 1.0, size=50).reshape(-1, 1)
y = 1.0 + 18.0 * (x.ravel() - 0.6) + rng.normal(0, 0.8, 50)
model = LinearRegression()
model.fit(x, y)
print('w1 =', model.coef_[0]) # 斜率,应接近 18.0
print('w0 =', model.intercept_) # 截距,应接近 -9.8:1 - 18 × 0.6要点fit(x, y) 一行完成训练,coef_ 与 intercept_ 给出学到的参数。
课堂代码片段:可能承接前页变量。第一次上机请从完整实验开始,先运行数据准备,再运行训练与评估。
§2.7 上机:scikit-learnPPT 第 15 页
岭回归与 Lasso 一行切换
ridge_lasso.pyPython
from sklearn.linear_model import Ridge, Lasso
ridge = Ridge(alpha=0.1) # alpha 控制正则强度
ridge.fit(x, y)
lasso = Lasso(alpha=0.1)
lasso.fit(x, y)
说明scikit-learn 里正则强度参数叫 alpha(与损失的归一化约定一起决定惩罚大小)。调它和调学习率一样,对数尺度试。
课堂代码片段:可能承接前页变量。第一次上机请从完整实验开始,先运行数据准备,再运行训练与评估。
§2.8 损失函数总结PPT 第 16 页
几种损失函数一览
| 名称 | 公式 | 用途 |
|---|
| 平方损失(MSE) | $\dfrac1n\sum(y_i-\hat y_i)^2$ | 回归(本讲主角) |
| 绝对损失(MAE) | $\dfrac1n\sum|y_i-\hat y_i|$ | 回归,对异常值更稳健 |
| Huber 损失 | 两者混合 | 回归,兼顾两者优点 |
| 交叉熵 | 见第 3 讲 | 分类 |
说明MSE 对大误差平方放大,因此对异常值敏感;若数据有离群点,可换 MAE 或 Huber。
§2.9 小结PPT 第 17 页
小结
- 1目标
找一条(超)直线 $\hat y = \mathbf{w}\cdot\mathbf{x} + w_0$ 最好地拟合数据
- 2损失
最小二乘:误差平方和 $J = \sum(y_i-\hat y_i)^2$
- 3求解
闭式解(正规方程)或梯度下降(迭代)
- 4防过拟合
正则化:L2(岭回归)/ L1(Lasso)
- 5超参数
学习率 $\eta$、正则强度 $\lambda$、多项式次数 $d$
§2.10 思考PPT 第 18 页
思考题
Q1梯度下降每次更新都沿负梯度方向,那么学习率 $\eta$ 越大,收敛越快,对吗?
- 对,越大越快
- 不对,过大可能震荡或发散
- 无所谓,总能收敛
B。$\eta$ 太大时更新步长超过谷底,会在两侧震荡甚至发散。
Q2Lasso(L1)相比岭回归(L2)的独特优势是?
- 总能更准
- 能做特征选择(把部分参数压成 0)
- 不需要调参
B。L1 的几何形状让最优解常落在坐标轴上。
学习路线与实践PPT 第 22 页
动手任务:交出结果,也交出解释
完成实验 A:记录均值基线、线性回归和随机森林的测试 MAE;解释哪种更好以及好多少。
提交:一张图或一张结果表 + 150 字解释 + 一个局限。
自查:数据如何划分?比简单猜测好多少?能否推广到新样品?
打开实验与结课项目指南