课程中心/机器学习导论/第 02 讲 阅读资料

线性回归

第 02 讲 · 阅读资料 | 对应幻灯片 slide_02.html(共 22 页正文)
最小二乘梯度下降正则化

先带着一个问题来学对应幻灯片 PPT 第 19 页

怎样用一条直线预测数值?

把直尺放在散点中间,调整高度和倾斜程度,让点到直线的差距总体更小。训练就是寻找这两个旋钮的合适位置。

学完能做到

解释斜率和误差;画预测值与真实值图;比较模型与均值基线。

第一遍不必深究:正规方程矩阵推导、L1 稀疏性的几何解释。

先算一个小例子对应幻灯片 PPT 第 20 页

真实值是 2、4,预测是 3、3:误差为 −1、1,相加是 0,但平方和是 2。平方避免正负抵消;平均绝对误差 MAE 则是 1。

真实值预测值误差误差平方
23−11
4311
你来解释:把这个例子用自己的话讲给同桌,指出输入、输出和需要检验的地方。

把方法带回材料与物理对应幻灯片 PPT 第 21 页

实验 A 用模拟的温度、成分、粒径预测“教学响应”。数值仅为教学构造,不是材料定律;先与“总猜训练集平均值”比较。

本讲要防的误解:MAE 与目标使用相同单位。差 1 eV 和差 1 meV 的科学含义不同;模拟响应没有真实物理单位。

回到西瓜:预测含糖量对应幻灯片 PPT 第 1 页

回归任务要预测连续数值。设想我们希望由西瓜的密度大致预测它的含糖量(二者大致线性相关):

$$\hat y = w_0 + w_1 x$$
符号含义
$x$输入特征(西瓜密度 $\rho$)
$y$真实值(含糖量)
$\hat y$模型预测值
$w_0$截距(intercept)
$w_1$斜率(slope)
说明线性回归要回答的问题:找一条直线,让它最好地穿过这些点。

「最好」是什么标准对应幻灯片 PPT 第 2 页

给定 $n$ 个样本 $(x_i, y_i)$,我们希望预测值 $\hat y_i = w_0 + w_1 x_i$ 尽量接近 $y_i$。

用残差 $r_i = y_i - \hat y_i$ 衡量差距。把每个残差平方再求和,得到损失函数:

$$J(w_0, w_1) = \sum_{i=1}^{n} \big(y_i - \hat y_i\big)^2= \sum_{i=1}^{n} \big(y_i - w_0 - w_1 x_i\big)^2$$
要点这就是最小二乘(least squares):选择让「误差平方和」最小的参数。
平方有两个好处:① 正负误差不会抵消;② 大误差被放大,模型更重视偏差大的点。

损失函数的形状对应幻灯片 PPT 第 3 页

把 $J(w_0, w_1)$ 看成参数平面上的一块「地形」,我们的目标是找到谷底。

一元情形
固定截距、且输入不全为零时,$J$ 随斜率变化是开口向上的抛物线。
多元情形
多个参数时,$J$ 是一个「碗」状曲面,谷底即最优解。
说明线性回归的损失函数是凸函数(convex),因此局部最低点也是全局最低点;设计矩阵列满秩时参数解唯一——这是它能被简单算法稳定求解的关键。

直接求解:正规方程对应幻灯片 PPT 第 4 页

拓展阅读 · 第一遍可先看结论,再回到必学主线。

在设计矩阵列满秩、相应矩阵可逆时,令 $J$ 对参数的偏导数为零,可以解出解析表达式。用矩阵记号($\mathbf{X}$ 加一列 1 表示截距):

$$\mathbf{w} = \left(\mathbf{X}^{\top}\mathbf{X}\right)^{-1}\mathbf{X}^{\top}\mathbf{y}$$
要点正规方程(normal equation)给出直接求解思路。实际计算通常用数值分解,不建议手工求逆。
但代价是矩阵求逆:当特征数 $p$ 很大时,$(\mathbf{X}^{\top}\mathbf{X})^{-1}$ 是 $p\times p$ 的求逆,代价 $O(p^3)$,会变慢。

闭式解:最小二乘的推导对应幻灯片 PPT 第 5 页

拓展阅读 · 第一遍可先看结论,再回到必学主线。

  1. 1写损失
    $J(\mathbf{w}) = \|\mathbf{y} - \mathbf{X}\mathbf{w}\|^2 = (\mathbf{y}-\mathbf{X}\mathbf{w})^{\top}(\mathbf{y}-\mathbf{X}\mathbf{w})$
  2. 2求梯度
    $\nabla_{\mathbf{w}} J = -2\mathbf{X}^{\top}(\mathbf{y}-\mathbf{X}\mathbf{w})$
  3. 3令为零
    $\mathbf{X}^{\top}\mathbf{X}\mathbf{w} = \mathbf{X}^{\top}\mathbf{y}$
  4. 4解出
    $\mathbf{w} = (\mathbf{X}^{\top}\mathbf{X})^{-1}\mathbf{X}^{\top}\mathbf{y}$
注意注意推导中 $\mathbf{X}$ 的第一列全是 1,用来对应截距 $w_0$。

当闭式解太贵:迭代法对应幻灯片 PPT 第 6 页

特征很多时求逆太慢,改用梯度下降(gradient descent):沿着负梯度方向一步步下山。

$$w_j \leftarrow w_j - \eta\,\frac{\partial J}{\partial w_j}$$
符号含义
$\eta$学习率(learning rate),每步迈多大
$\partial J/\partial w_j$损失关于第 $j$ 个参数的梯度
说明直觉:梯度指向上升最快的方向,所以取负号就朝下降最快方向走。

学习率的选择对应幻灯片 PPT 第 7 页

先用一句话理解:每次修改参数的步幅。太大可能越过好位置,太小可能需要更多轮。

$\eta$ 太小
收敛慢,要很多步才能到谷底
$\eta$ 合适
又快又稳地收敛
$\eta$ 太大
步子迈过头,在谷底来回震荡,甚至发散
注意学习率是超参数(不是从数据学来的,是人设定的)。调它的经验:先试 $10^{-3}$、$10^{-2}$、$10^{-1}$ 这种对数尺度。

梯度下降的伪代码对应幻灯片 PPT 第 8 页

先用一句话理解:梯度指出局部上升最快的方向;沿反方向走一小步,希望降低损失。

梯度下降(批量)
输入:数据 X, y;学习率 η;迭代次数 T
初始化 w = 0(或随机小值)
for t = 1 .. T:
g = ∇_w J(w) # 对所有样本求梯度
w ← w − η·g # 更新参数
if ‖g‖ 很小: break # 已接近谷底
输出:w
说明这里每次用全部样本算梯度,叫批量梯度下降。第 8 讲会见到只用一小批样本的随机/小批量版本。

多元线性回归对应幻灯片 PPT 第 9 页

现实里含糖量由多个特征决定(密度、色泽深浅、敲声…),于是:

$$\hat y = w_0 + w_1 x_1 + w_2 x_2 + \cdots + w_p x_p= \mathbf{w}\cdot\mathbf{x} + w_0$$
要点写成向量内积后,数学形式与一元完全一致——这正是把截距并进 $\mathbf{x}$(补一维常数 1)的妙处。

特征缩放的重要性对应幻灯片 PPT 第 10 页

不同特征量纲差异巨大(如密度约 $0.9$、含糖量百分比约 $0$–$20$),会拖慢梯度下降。

方法公式效果
标准化$x' = \dfrac{x - \mu}{\sigma}$均值 0、方差 1
归一化$x' = \dfrac{x - x_{\min}}{x_{\max}-x_{\min}}$缩到 [0,1]
注意特征尺度差太多时,梯度下降会在「狭长山谷」里走之字形,收敛极慢。先缩放,再训练。

高次多项式:从欠拟合到过拟合对应幻灯片 PPT 第 11 页

一元线性模型太简单。换成 $d$ 次多项式 $\hat y = w_0 + w_1 x + \cdots + w_d x^d$ 能拟合更多形状,但也更容易过拟合。

$d$ 太小
欠拟合:训练、测试误差都高
$d$ 适中
泛化最好
$d$ 太大
过拟合:训练误差极低,测试误差飙升
说明多项式次数 $d$ 也是一个超参数,衡量的是「模型复杂度」。

正则化:给复杂模型「踩刹车」对应幻灯片 PPT 第 12 页

先用一句话理解:除了要求答得准,还限制模型不要把参数调得过于极端。强度太大也会学不好。

过拟合往往表现为参数 $w_j$ 的绝对值很大(曲线剧烈摆动)。正则化在损失里加一项,惩罚大参数:

$$J_{\text{reg}}(\mathbf{w}) = \sum_i (y_i - \hat y_i)^2+ \lambda \sum_j |w_j|^q$$
要点$q=2$ 是岭回归(Ridge,L2),$q=1$ 是 Lasso(L1)。$\lambda$ 控制惩罚强度。

L1 与 L2 的区别对应幻灯片 PPT 第 13 页

正则惩罚项特点
岭回归 L2$\lambda\sum_j w_j^2$把参数整体压小,但不稀疏
Lasso L1$\lambda\sum_j |w_j|$能把某些参数压成精确 0,自动做特征选择
说明L1 的尖角形状让最优解常落在坐标轴上(某些 $w_j=0$),天然具备稀疏性——这是 Lasso 做特征选择的原理。

用 scikit-learn 做线性回归对应幻灯片 PPT 第 14 页

linear_regression.pyPython
from sklearn.linear_model import LinearRegression
from sklearn.preprocessing import PolynomialFeatures
import numpy as np

# 模拟:含糖量随密度近似线性,加一点噪声
rng = np.random.RandomState(0)
x = rng.uniform(0.6, 1.0, size=50).reshape(-1, 1)
y = 1.0 + 18.0 * (x.ravel() - 0.6) + rng.normal(0, 0.8, 50)

model = LinearRegression()
model.fit(x, y)
print('w1 =', model.coef_[0])   # 斜率,应接近 18.0
print('w0 =', model.intercept_) # 截距,应接近 -9.8:1 - 18 × 0.6
要点fit(x, y) 一行完成训练,coef_ 与 intercept_ 给出学到的参数。

课堂代码片段:可能承接前页变量。第一次上机请从完整实验开始,先运行数据准备,再运行训练与评估。

岭回归与 Lasso 一行切换对应幻灯片 PPT 第 15 页

ridge_lasso.pyPython
from sklearn.linear_model import Ridge, Lasso

ridge = Ridge(alpha=0.1)   # alpha 控制正则强度
ridge.fit(x, y)

lasso = Lasso(alpha=0.1)
lasso.fit(x, y)
说明scikit-learn 里正则强度参数叫 alpha(与损失的归一化约定一起决定惩罚大小)。调它和调学习率一样,对数尺度试。

课堂代码片段:可能承接前页变量。第一次上机请从完整实验开始,先运行数据准备,再运行训练与评估。

几种损失函数一览对应幻灯片 PPT 第 16 页

名称公式用途
平方损失(MSE)$\dfrac1n\sum(y_i-\hat y_i)^2$回归(本讲主角)
绝对损失(MAE)$\dfrac1n\sum|y_i-\hat y_i|$回归,对异常值更稳健
Huber 损失两者混合回归,兼顾两者优点
交叉熵见第 3 讲分类
说明MSE 对大误差平方放大,因此对异常值敏感;若数据有离群点,可换 MAE 或 Huber。

小结对应幻灯片 PPT 第 17 页

  1. 1目标
    找一条(超)直线 $\hat y = \mathbf{w}\cdot\mathbf{x} + w_0$ 最好地拟合数据
  2. 2损失
    最小二乘:误差平方和 $J = \sum(y_i-\hat y_i)^2$
  3. 3求解
    闭式解(正规方程)或梯度下降(迭代)
  4. 4防过拟合
    正则化:L2(岭回归)/ L1(Lasso)
  5. 5超参数
    学习率 $\eta$、正则强度 $\lambda$、多项式次数 $d$

思考题对应幻灯片 PPT 第 18 页

Q1

梯度下降每次更新都沿负梯度方向,那么学习率 $\eta$ 越大,收敛越快,对吗?

  • 对,越大越快
  • 不对,过大可能震荡或发散
  • 无所谓,总能收敛
B。$\eta$ 太大时更新步长超过谷底,会在两侧震荡甚至发散。
Q2

Lasso(L1)相比岭回归(L2)的独特优势是?

  • 总能更准
  • 能做特征选择(把部分参数压成 0)
  • 不需要调参
B。L1 的几何形状让最优解常落在坐标轴上。

动手任务:交出结果,也交出解释对应幻灯片 PPT 第 22 页

完成实验 A:记录均值基线、线性回归和随机森林的测试 MAE;解释哪种更好以及好多少。

提交:一张图或一张结果表 + 150 字解释 + 一个局限。

自查:数据如何划分?比简单猜测好多少?能否推广到新样品?

打开实验与结课项目指南

课后慢读:从会说到会做

第一步:合上公式,解释问题

先回答“怎样用一条直线预测数值?”。把直尺放在散点中间,调整高度和倾斜程度,让点到直线的差距总体更小。训练就是寻找这两个旋钮的合适位置。 这个比喻只是帮助入门,模型最终仍要接受独立数据的检验。

第二步:拿小例子核对

真实值是 2、4,预测是 3、3:误差为 −1、1,相加是 0,但平方和是 2。平方避免正负抵消;平均绝对误差 MAE 则是 1。 请写下中间步骤;不能只抄结论。若换一组数据,你的解释是否仍成立?

第三步:联系专业场景

实验 A 用模拟的温度、成分、粒径预测“教学响应”。数值仅为教学构造,不是材料定律;先与“总猜训练集平均值”比较。

第四步:提交一个可以检查的结果

完成实验 A:记录均值基线、线性回归和随机森林的测试 MAE;解释哪种更好以及好多少。

参考判断与常见误区

MAE 与目标使用相同单位。差 1 eV 和差 1 meV 的科学含义不同;模拟响应没有真实物理单位。

报告中分别写“我观察到什么”和“我推测为什么”。观察由图表支持;推测需要进一步实验。分数较低也可以是一份好报告,前提是数据划分合理、分析诚实。

基础达标:解释斜率和误差;画预测值与真实值图;比较模型与均值基线。进阶再读:正规方程矩阵推导、L1 稀疏性的几何解释。

完整实验、环境安装、结果解读与报告评分标准

附:PPT 页码对照表

页内容放映版深链
19先带着一个问题来学第 19 页
20先算一个小例子第 20 页
21把方法带回材料与物理第 21 页
01回到西瓜:预测含糖量第 1 页
02「最好」是什么标准第 2 页
03损失函数的形状第 3 页
04直接求解:正规方程第 4 页
05闭式解:最小二乘的推导第 5 页
06当闭式解太贵:迭代法第 6 页
07学习率的选择第 7 页
08梯度下降的伪代码第 8 页
09多元线性回归第 9 页
10特征缩放的重要性第 10 页
11高次多项式:从欠拟合到过拟合第 11 页
12正则化:给复杂模型「踩刹车」第 12 页
13L1 与 L2 的区别第 13 页
14用 scikit-learn 做线性回归第 14 页
15岭回归与 Lasso 一行切换第 15 页
16几种损失函数一览第 16 页
17小结第 17 页
18思考题第 18 页
22动手任务:交出结果,也交出解释第 22 页
100% = 放大 · − 缩小 · 0 复位