机器学习导论
课程中心/ 机器学习导论/ 阅读资料/ 第 3 讲
决策边界 · sigmoid / 交叉熵 · Softmax
LECTURE 03

逻辑回归与分类

Logistic Regression & Classification
第 3 讲 · 决策边界 · sigmoid / 交叉熵 · Softmax
学习路线与实践PPT 第 16 页

先带着一个问题来学

预测“是哪一类”和“有多大把握”有什么区别?

分类像筛查:先给出一个分数,再按门槛决定是否通过。改变门槛,会改变漏掉和误报的数量。

学完能做到

区分类别与概率;手算精确率和召回率;解释阈值的影响。

第一遍不必深究:交叉熵推导、Softmax 的指数形式。

学习路线与实践PPT 第 17 页

先算一个小例子

100 个样品中只有 5 个缺陷品。“全部正常”也有 95% 准确率,却漏掉全部缺陷。若查出 4 个缺陷、误报 6 个,精确率是 4/10,召回率是 4/5。

实际情况判为缺陷判为正常
缺陷:5 个查出 4漏掉 1
正常:95 个误报 6正确排除 89
你来解释:把这个例子用自己的话讲给同桌,指出输入、输出和需要检验的地方。
学习路线与实践PPT 第 18 页

把方法带回材料与物理

缺陷检测往往更怕漏检,候选材料初筛可能愿意多做一些复验。先明确漏检和误报的代价,再选指标和阈值。

本讲要防的误解:降低阈值通常增加召回,也增加误报;概率分数不自动等于可靠的置信度。
§3.1 从回归到分类PPT 第 01 页

问题变了:预测类别而不是数值

第 2 讲预测连续值(含糖量),现在预测离散类别——回到那只西瓜:判断「好瓜还是坏瓜」。

任务输出例子
回归$\hat y\in\mathbb{R}$预测含糖量 $11.2\%$
二分类$\hat y\in\{0,1\}$好瓜(1)还是坏瓜(0)
多分类$\hat y\in\{1,\dots,K\}$西瓜按成熟度分「生 / 熟 / 过熟」
说明能不能直接把线性回归的输出当类别?不行——输出是任意实数,而类别只有两个值。需要一个「压到概率」的映射。
§3.2 sigmoid 函数PPT 第 02 页

把实数压进 (0,1):sigmoid

先用一句话理解:把任意实数分数压到 0 和 1 之间;先把它看成“通过倾向”的刻度。

线性模型给出实数 $z = \mathbf{w}\cdot\mathbf{x} + w_0$,用 sigmoid 把它映射到概率:

$$\sigma(z) = \frac{1}{1 + e^{-z}}$$
$z \to +\infty$
$\sigma(z) \to 1$
$z = 0$
$\sigma(z) = 0.5$
$z \to -\infty$
$\sigma(z) \to 0$
要点于是 $\hat p = \sigma(\mathbf{w}\cdot\mathbf{x}+w_0)$ 就是「样本属于正类的概率」。
§3.2 sigmoid 函数PPT 第 03 页

逻辑回归的完整形式

$$P(y=1\mid\mathbf{x}) = \sigma(\mathbf{w}\cdot\mathbf{x}+w_0)= \frac{1}{1+e^{-(\mathbf{w}\cdot\mathbf{x}+w_0)}}$$
说明名字里带「回归」,其实是分类器——它输出的是概率,名字是历史遗留。
§3.3 决策边界PPT 第 04 页

决策边界:概率 0.5 的那条线

判类的规则:$\hat p \ge 0.5$ 判为正类,否则负类。$\hat p=0.5$ 等价于 $z=0$,即:

$$\mathbf{w}\cdot\mathbf{x} + w_0 = 0$$
要点这是一条直线(超平面),叫决策边界(decision boundary)。
逻辑回归是一个线性分类器:它只能把空间切成两半。
§3.3 决策边界PPT 第 05 页

线性可分的局限

线性可分
一条直线能分开两类 → 逻辑回归可用
线性不可分
比如异或(XOR)问题 → 单条直线分不开,需要特征变换或更复杂模型
注意XOR 是经典反例:四点交叉排布,任何直线都切不开。这直接催生了第 8 讲的神经网络(多层的非线性组合)。
§3.4 交叉熵损失PPT 第 06 页

怎么衡量分类的好坏

回归用平方损失。分类的正确选择是交叉熵(cross-entropy),对单个样本:

$$L = -\big[\, y\log \hat p + (1-y)\log(1-\hat p) \,\big]$$
情形$y$损失
真实正类$y=1$$L = -\log\hat p$($\hat p$ 越小罚越重)
真实负类$y=0$$L = -\log(1-\hat p)$
要点交叉熵「奖励自信的正确、严惩自信的错误」:预测错误且很自信($\hat p\to 0$ 却 $y=1$)时,$L\to\infty$。
§3.4 交叉熵损失PPT 第 07 页

为什么分类不用平方损失

平方损失
把概率当连续值,梯度在两端趋于 0,训练会「卡住」
交叉熵
梯度与误差成正比,远离正确时梯度大,学得快
说明数学上,交叉熵损失配合 sigmoid 输出,梯度形式极简洁:$\dfrac{\partial L}{\partial w_j} = (\hat p - y)\,x_j$——和线性回归的梯度长得一模一样。
§3.5 多分类:SoftmaxPPT 第 08 页

从二分类到 K 分类

有 $K$ 个类别时,为每个类别算一个得分 $z_k$,用 Softmax 归一成概率分布:

$$P(y=k\mid\mathbf{x}) = \frac{e^{z_k}}{\sum_{j=1}^{K} e^{z_j}},\qquad z_k = \mathbf{w}_k\cdot\mathbf{x}$$
要点Softmax 保证所有概率非负且求和为 1,是「把一组得分变成概率」的标准做法。$K=2$ 时退化为 sigmoid。
§3.6 评估指标PPT 第 09 页

准确率就够了吗

设想一个罕见病筛查:1000 人里只有 1 个病人。一个「永远说没病」的模型,准确率高达 99.9%,却毫无用处。

指标公式关注什么
准确率$\dfrac{TP+TN}{N}$总体对多少
精确率$\dfrac{TP}{TP+FP}$报「正」里有多少真
召回率$\dfrac{TP}{TP+FN}$真「正」里找到多少
注意类别不平衡时,准确率会骗人,要看精确率 / 召回率。
§3.6 评估指标PPT 第 10 页

混淆矩阵

预测正预测负
真实正TP(真阳)FN(假阴)
真实负FP(假阳)TN(真阴)
说明混淆矩阵把四类结果一目了然。精确率、召回率、准确率都能从这四格算出。
§3.6 评估指标PPT 第 11 页

ROC 曲线与 AUC

先用一句话理解:先理解为排序能力:正例是否倾向于排在负例前面。它不替你选择实际使用的门槛。

改变判定阈值 $\theta$($\hat p \ge \theta$ 判正),精确率 / 召回率随之变化。ROC 曲线画的是「真阳率 vs 假阳率」随阈值的轨迹。

要点AUC(曲线下面积)衡量模型的整体排序能力:
· AUC = 1:完美; · AUC = 0.5:等于随机猜; · AUC 越大,模型把正样本排在负样本前面的能力越强。
§3.7 上机:scikit-learnPPT 第 12 页

逻辑回归实战

logistic_regression.pyPython
from sklearn.linear_model import LogisticRegression
from sklearn.datasets import make_classification
from sklearn.model_selection import train_test_split
from sklearn.metrics import accuracy_score, roc_auc_score

# 造一份二分类数据
X, y = make_classification(n_samples=1000, n_features=4,
                           n_informative=3, n_redundant=0, random_state=0)
X_train, X_test, y_train, y_test = train_test_split(
    X, y, test_size=0.25, random_state=0, stratify=y)

clf = LogisticRegression()
clf.fit(X_train, y_train)
y_prob = clf.predict_proba(X_test)[:, 1]  # 正类概率
y_pred = clf.predict(X_test)

print('accuracy =', accuracy_score(y_test, y_pred))
print('AUC      =', roc_auc_score(y_test, y_prob))
要点predict_proba 输出每个类别的概率,predict 直接给类别(默认阈值 0.5)。

课堂代码片段:可能承接前页变量。第一次上机请从完整实验开始,先运行数据准备,再运行训练与评估。

§3.7 上机:scikit-learnPPT 第 13 页

多分类与 Softmax

拓展阅读 · 第一遍可先看结论,再回到必学主线。

先用一句话理解:把多个类别的分数变成总和为 1 的一组数;最大的那个通常作为预测类别。

softmax_multiclass.pyPython
from sklearn.linear_model import LogisticRegression

# 多分类:自动使用 Softmax(multinomial)
from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
X, y = load_iris(return_X_y=True)
X_train, X_test, y_train, y_test = train_test_split(X, y, stratify=y, random_state=0)
clf = LogisticRegression(max_iter=1000)
clf.fit(X_train, y_train)
print(clf.classes_)        # 有哪些类别
print(clf.predict_proba(X_test[:3]))  # 每个样本各类概率
说明使用三类示例和默认 lbfgs 求解器;输入原始特征,由模型学习多类别概率。

课堂代码片段:可能承接前页变量。第一次上机请从完整实验开始,先运行数据准备,再运行训练与评估。

§3.8 小结PPT 第 14 页

小结

  1. 1思路
    线性得分 $z$ → sigmoid/Softmax → 概率 → 阈值判类
  2. 2损失
    交叉熵(分类的标配损失)
  3. 3边界
    线性分类器,只能切一刀
  4. 4评估
    准确率会骗人,看精确率/召回率/AUC
  5. 5工具
    LogisticRegression 一行搞定
§3.9 思考PPT 第 15 页

思考题

Q1

类别不平衡时,下列哪个指标最能反映模型对少数类的真实表现?

  • 准确率
  • 召回率 / 精确率
  • 训练时间
B。准确率会被多数类主导;召回率/精确率才聚焦少数类。
Q2

Softmax 输出的 K 个概率之和等于?

  • 1
  • K
  • 不确定
A。Softmax 归一化保证概率和为 1。
学习路线与实践PPT 第 19 页

动手任务:交出结果,也交出解释

对课堂二分类示例分别用 0.3、0.5、0.7 阈值画混淆矩阵。阈值在验证集上选择,测试集只作最终评估。

提交:一张图或一张结果表 + 150 字解释 + 一个局限。

自查:数据如何划分?比简单猜测好多少?能否推广到新样品?

打开实验与结课项目指南

1 / 1 100%

幻灯片目录

← → 翻页 空格 下一页 F 全屏 O / Esc 目录 数字键 1-9 快速跳页 字号:= 放大 / − 缩小 / 0 复位