机器学习导论
课程中心/ 机器学习导论/ 阅读资料/ 第 2 讲
最小二乘 · 梯度下降 · 正则化
LECTURE 02

线性回归

Linear Regression
第 2 讲 · 最小二乘 · 梯度下降 · 正则化
学习路线与实践PPT 第 19 页

先带着一个问题来学

怎样用一条直线预测数值?

把直尺放在散点中间,调整高度和倾斜程度,让点到直线的差距总体更小。训练就是寻找这两个旋钮的合适位置。

学完能做到

解释斜率和误差;画预测值与真实值图;比较模型与均值基线。

第一遍不必深究:正规方程矩阵推导、L1 稀疏性的几何解释。

学习路线与实践PPT 第 20 页

先算一个小例子

真实值是 2、4,预测是 3、3:误差为 −1、1,相加是 0,但平方和是 2。平方避免正负抵消;平均绝对误差 MAE 则是 1。

真实值预测值误差误差平方
23−11
4311
你来解释:把这个例子用自己的话讲给同桌,指出输入、输出和需要检验的地方。
学习路线与实践PPT 第 21 页

把方法带回材料与物理

实验 A 用模拟的温度、成分、粒径预测“教学响应”。数值仅为教学构造,不是材料定律;先与“总猜训练集平均值”比较。

本讲要防的误解:MAE 与目标使用相同单位。差 1 eV 和差 1 meV 的科学含义不同;模拟响应没有真实物理单位。
§2.1 问题引入PPT 第 01 页

回到西瓜:预测含糖量

回归任务要预测连续数值。设想我们希望由西瓜的密度大致预测它的含糖量(二者大致线性相关):

$$\hat y = w_0 + w_1 x$$
符号含义
$x$输入特征(西瓜密度 $\rho$)
$y$真实值(含糖量)
$\hat y$模型预测值
$w_0$截距(intercept)
$w_1$斜率(slope)
说明线性回归要回答的问题:找一条直线,让它最好地穿过这些点。
§2.1 问题引入PPT 第 02 页

「最好」是什么标准

给定 $n$ 个样本 $(x_i, y_i)$,我们希望预测值 $\hat y_i = w_0 + w_1 x_i$ 尽量接近 $y_i$。

用残差 $r_i = y_i - \hat y_i$ 衡量差距。把每个残差平方再求和,得到损失函数:

$$J(w_0, w_1) = \sum_{i=1}^{n} \big(y_i - \hat y_i\big)^2= \sum_{i=1}^{n} \big(y_i - w_0 - w_1 x_i\big)^2$$
要点这就是最小二乘(least squares):选择让「误差平方和」最小的参数。
平方有两个好处:① 正负误差不会抵消;② 大误差被放大,模型更重视偏差大的点。
§2.2 最小二乘的几何直觉PPT 第 03 页

损失函数的形状

把 $J(w_0, w_1)$ 看成参数平面上的一块「地形」,我们的目标是找到谷底。

一元情形
固定截距、且输入不全为零时,$J$ 随斜率变化是开口向上的抛物线。
多元情形
多个参数时,$J$ 是一个「碗」状曲面,谷底即最优解。
说明线性回归的损失函数是凸函数(convex),因此局部最低点也是全局最低点;设计矩阵列满秩时参数解唯一——这是它能被简单算法稳定求解的关键。
§2.3 闭式解PPT 第 04 页

直接求解:正规方程

拓展阅读 · 第一遍可先看结论,再回到必学主线。

在设计矩阵列满秩、相应矩阵可逆时,令 $J$ 对参数的偏导数为零,可以解出解析表达式。用矩阵记号($\mathbf{X}$ 加一列 1 表示截距):

$$\mathbf{w} = \left(\mathbf{X}^{\top}\mathbf{X}\right)^{-1}\mathbf{X}^{\top}\mathbf{y}$$
要点正规方程(normal equation)给出直接求解思路。实际计算通常用数值分解,不建议手工求逆。
但代价是矩阵求逆:当特征数 $p$ 很大时,$(\mathbf{X}^{\top}\mathbf{X})^{-1}$ 是 $p\times p$ 的求逆,代价 $O(p^3)$,会变慢。
§2.3 闭式解PPT 第 05 页

闭式解:最小二乘的推导

拓展阅读 · 第一遍可先看结论,再回到必学主线。

  1. 1写损失
    $J(\mathbf{w}) = \|\mathbf{y} - \mathbf{X}\mathbf{w}\|^2 = (\mathbf{y}-\mathbf{X}\mathbf{w})^{\top}(\mathbf{y}-\mathbf{X}\mathbf{w})$
  2. 2求梯度
    $\nabla_{\mathbf{w}} J = -2\mathbf{X}^{\top}(\mathbf{y}-\mathbf{X}\mathbf{w})$
  3. 3令为零
    $\mathbf{X}^{\top}\mathbf{X}\mathbf{w} = \mathbf{X}^{\top}\mathbf{y}$
  4. 4解出
    $\mathbf{w} = (\mathbf{X}^{\top}\mathbf{X})^{-1}\mathbf{X}^{\top}\mathbf{y}$
注意注意推导中 $\mathbf{X}$ 的第一列全是 1,用来对应截距 $w_0$。
§2.4 梯度下降PPT 第 06 页

当闭式解太贵:迭代法

特征很多时求逆太慢,改用梯度下降(gradient descent):沿着负梯度方向一步步下山。

$$w_j \leftarrow w_j - \eta\,\frac{\partial J}{\partial w_j}$$
符号含义
$\eta$学习率(learning rate),每步迈多大
$\partial J/\partial w_j$损失关于第 $j$ 个参数的梯度
说明直觉:梯度指向上升最快的方向,所以取负号就朝下降最快方向走。
§2.4 梯度下降PPT 第 07 页

学习率的选择

先用一句话理解:每次修改参数的步幅。太大可能越过好位置,太小可能需要更多轮。

$\eta$ 太小
收敛慢,要很多步才能到谷底
$\eta$ 合适
又快又稳地收敛
$\eta$ 太大
步子迈过头,在谷底来回震荡,甚至发散
注意学习率是超参数(不是从数据学来的,是人设定的)。调它的经验:先试 $10^{-3}$、$10^{-2}$、$10^{-1}$ 这种对数尺度。
§2.4 梯度下降PPT 第 08 页

梯度下降的伪代码

先用一句话理解:梯度指出局部上升最快的方向;沿反方向走一小步,希望降低损失。

梯度下降(批量)
输入:数据 X, y;学习率 η;迭代次数 T
初始化 w = 0(或随机小值)
for t = 1 .. T:
g = ∇_w J(w) # 对所有样本求梯度
w ← w − η·g # 更新参数
if ‖g‖ 很小: break # 已接近谷底
输出:w
说明这里每次用全部样本算梯度,叫批量梯度下降。第 8 讲会见到只用一小批样本的随机/小批量版本。
§2.5 从一元到多元PPT 第 09 页

多元线性回归

现实里含糖量由多个特征决定(密度、色泽深浅、敲声…),于是:

$$\hat y = w_0 + w_1 x_1 + w_2 x_2 + \cdots + w_p x_p= \mathbf{w}\cdot\mathbf{x} + w_0$$
要点写成向量内积后,数学形式与一元完全一致——这正是把截距并进 $\mathbf{x}$(补一维常数 1)的妙处。
§2.5 从一元到多元PPT 第 10 页

特征缩放的重要性

不同特征量纲差异巨大(如密度约 $0.9$、含糖量百分比约 $0$–$20$),会拖慢梯度下降。

方法公式效果
标准化$x' = \dfrac{x - \mu}{\sigma}$均值 0、方差 1
归一化$x' = \dfrac{x - x_{\min}}{x_{\max}-x_{\min}}$缩到 [0,1]
注意特征尺度差太多时,梯度下降会在「狭长山谷」里走之字形,收敛极慢。先缩放,再训练。
§2.6 过拟合与正则化PPT 第 11 页

高次多项式:从欠拟合到过拟合

一元线性模型太简单。换成 $d$ 次多项式 $\hat y = w_0 + w_1 x + \cdots + w_d x^d$ 能拟合更多形状,但也更容易过拟合。

$d$ 太小
欠拟合:训练、测试误差都高
$d$ 适中
泛化最好
$d$ 太大
过拟合:训练误差极低,测试误差飙升
说明多项式次数 $d$ 也是一个超参数,衡量的是「模型复杂度」。
§2.6 过拟合与正则化PPT 第 12 页

正则化:给复杂模型「踩刹车」

先用一句话理解:除了要求答得准,还限制模型不要把参数调得过于极端。强度太大也会学不好。

过拟合往往表现为参数 $w_j$ 的绝对值很大(曲线剧烈摆动)。正则化在损失里加一项,惩罚大参数:

$$J_{\text{reg}}(\mathbf{w}) = \sum_i (y_i - \hat y_i)^2+ \lambda \sum_j |w_j|^q$$
要点$q=2$ 是岭回归(Ridge,L2),$q=1$ 是 Lasso(L1)。$\lambda$ 控制惩罚强度。
§2.6 过拟合与正则化PPT 第 13 页

L1 与 L2 的区别

正则惩罚项特点
岭回归 L2$\lambda\sum_j w_j^2$把参数整体压小,但不稀疏
Lasso L1$\lambda\sum_j |w_j|$能把某些参数压成精确 0,自动做特征选择
说明L1 的尖角形状让最优解常落在坐标轴上(某些 $w_j=0$),天然具备稀疏性——这是 Lasso 做特征选择的原理。
§2.7 上机:scikit-learnPPT 第 14 页

用 scikit-learn 做线性回归

linear_regression.pyPython
from sklearn.linear_model import LinearRegression
from sklearn.preprocessing import PolynomialFeatures
import numpy as np

# 模拟:含糖量随密度近似线性,加一点噪声
rng = np.random.RandomState(0)
x = rng.uniform(0.6, 1.0, size=50).reshape(-1, 1)
y = 1.0 + 18.0 * (x.ravel() - 0.6) + rng.normal(0, 0.8, 50)

model = LinearRegression()
model.fit(x, y)
print('w1 =', model.coef_[0])   # 斜率,应接近 18.0
print('w0 =', model.intercept_) # 截距,应接近 -9.8:1 - 18 × 0.6
要点fit(x, y) 一行完成训练,coef_ 与 intercept_ 给出学到的参数。

课堂代码片段:可能承接前页变量。第一次上机请从完整实验开始,先运行数据准备,再运行训练与评估。

§2.7 上机:scikit-learnPPT 第 15 页

岭回归与 Lasso 一行切换

ridge_lasso.pyPython
from sklearn.linear_model import Ridge, Lasso

ridge = Ridge(alpha=0.1)   # alpha 控制正则强度
ridge.fit(x, y)

lasso = Lasso(alpha=0.1)
lasso.fit(x, y)
说明scikit-learn 里正则强度参数叫 alpha(与损失的归一化约定一起决定惩罚大小)。调它和调学习率一样,对数尺度试。

课堂代码片段:可能承接前页变量。第一次上机请从完整实验开始,先运行数据准备,再运行训练与评估。

§2.8 损失函数总结PPT 第 16 页

几种损失函数一览

名称公式用途
平方损失(MSE)$\dfrac1n\sum(y_i-\hat y_i)^2$回归(本讲主角)
绝对损失(MAE)$\dfrac1n\sum|y_i-\hat y_i|$回归,对异常值更稳健
Huber 损失两者混合回归,兼顾两者优点
交叉熵见第 3 讲分类
说明MSE 对大误差平方放大,因此对异常值敏感;若数据有离群点,可换 MAE 或 Huber。
§2.9 小结PPT 第 17 页

小结

  1. 1目标
    找一条(超)直线 $\hat y = \mathbf{w}\cdot\mathbf{x} + w_0$ 最好地拟合数据
  2. 2损失
    最小二乘:误差平方和 $J = \sum(y_i-\hat y_i)^2$
  3. 3求解
    闭式解(正规方程)或梯度下降(迭代)
  4. 4防过拟合
    正则化:L2(岭回归)/ L1(Lasso)
  5. 5超参数
    学习率 $\eta$、正则强度 $\lambda$、多项式次数 $d$
§2.10 思考PPT 第 18 页

思考题

Q1

梯度下降每次更新都沿负梯度方向,那么学习率 $\eta$ 越大,收敛越快,对吗?

  • 对,越大越快
  • 不对,过大可能震荡或发散
  • 无所谓,总能收敛
B。$\eta$ 太大时更新步长超过谷底,会在两侧震荡甚至发散。
Q2

Lasso(L1)相比岭回归(L2)的独特优势是?

  • 总能更准
  • 能做特征选择(把部分参数压成 0)
  • 不需要调参
B。L1 的几何形状让最优解常落在坐标轴上。
学习路线与实践PPT 第 22 页

动手任务:交出结果,也交出解释

完成实验 A:记录均值基线、线性回归和随机森林的测试 MAE;解释哪种更好以及好多少。

提交:一张图或一张结果表 + 150 字解释 + 一个局限。

自查:数据如何划分?比简单猜测好多少?能否推广到新样品?

打开实验与结课项目指南

1 / 1 100%

幻灯片目录

← → 翻页 空格 下一页 F 全屏 O / Esc 目录 数字键 1-9 快速跳页 字号:= 放大 / − 缩小 / 0 复位