预测“是哪一类”和“有多大把握”有什么区别?
分类像筛查:先给出一个分数,再按门槛决定是否通过。改变门槛,会改变漏掉和误报的数量。
区分类别与概率;手算精确率和召回率;解释阈值的影响。
第一遍不必深究:交叉熵推导、Softmax 的指数形式。
100 个样品中只有 5 个缺陷品。“全部正常”也有 95% 准确率,却漏掉全部缺陷。若查出 4 个缺陷、误报 6 个,精确率是 4/10,召回率是 4/5。
| 实际情况 | 判为缺陷 | 判为正常 |
|---|---|---|
| 缺陷:5 个 | 查出 4 | 漏掉 1 |
| 正常:95 个 | 误报 6 | 正确排除 89 |
缺陷检测往往更怕漏检,候选材料初筛可能愿意多做一些复验。先明确漏检和误报的代价,再选指标和阈值。
第 2 讲预测连续值(含糖量),现在预测离散类别——回到那只西瓜:判断「好瓜还是坏瓜」。
| 任务 | 输出 | 例子 |
|---|---|---|
| 回归 | $\hat y\in\mathbb{R}$ | 预测含糖量 $11.2\%$ |
| 二分类 | $\hat y\in\{0,1\}$ | 好瓜(1)还是坏瓜(0) |
| 多分类 | $\hat y\in\{1,\dots,K\}$ | 西瓜按成熟度分「生 / 熟 / 过熟」 |
先用一句话理解:把任意实数分数压到 0 和 1 之间;先把它看成“通过倾向”的刻度。
线性模型给出实数 $z = \mathbf{w}\cdot\mathbf{x} + w_0$,用 sigmoid 把它映射到概率:
判类的规则:$\hat p \ge 0.5$ 判为正类,否则负类。$\hat p=0.5$ 等价于 $z=0$,即:
回归用平方损失。分类的正确选择是交叉熵(cross-entropy),对单个样本:
| 情形 | $y$ | 损失 |
|---|---|---|
| 真实正类 | $y=1$ | $L = -\log\hat p$($\hat p$ 越小罚越重) |
| 真实负类 | $y=0$ | $L = -\log(1-\hat p)$ |
有 $K$ 个类别时,为每个类别算一个得分 $z_k$,用 Softmax 归一成概率分布:
设想一个罕见病筛查:1000 人里只有 1 个病人。一个「永远说没病」的模型,准确率高达 99.9%,却毫无用处。
| 指标 | 公式 | 关注什么 |
|---|---|---|
| 准确率 | $\dfrac{TP+TN}{N}$ | 总体对多少 |
| 精确率 | $\dfrac{TP}{TP+FP}$ | 报「正」里有多少真 |
| 召回率 | $\dfrac{TP}{TP+FN}$ | 真「正」里找到多少 |
| 预测正 | 预测负 | |
|---|---|---|
| 真实正 | TP(真阳) | FN(假阴) |
| 真实负 | FP(假阳) | TN(真阴) |
先用一句话理解:先理解为排序能力:正例是否倾向于排在负例前面。它不替你选择实际使用的门槛。
改变判定阈值 $\theta$($\hat p \ge \theta$ 判正),精确率 / 召回率随之变化。ROC 曲线画的是「真阳率 vs 假阳率」随阈值的轨迹。
from sklearn.linear_model import LogisticRegression
from sklearn.datasets import make_classification
from sklearn.model_selection import train_test_split
from sklearn.metrics import accuracy_score, roc_auc_score
# 造一份二分类数据
X, y = make_classification(n_samples=1000, n_features=4,
n_informative=3, n_redundant=0, random_state=0)
X_train, X_test, y_train, y_test = train_test_split(
X, y, test_size=0.25, random_state=0, stratify=y)
clf = LogisticRegression()
clf.fit(X_train, y_train)
y_prob = clf.predict_proba(X_test)[:, 1] # 正类概率
y_pred = clf.predict(X_test)
print('accuracy =', accuracy_score(y_test, y_pred))
print('AUC =', roc_auc_score(y_test, y_prob))predict_proba 输出每个类别的概率,predict 直接给类别(默认阈值 0.5)。课堂代码片段:可能承接前页变量。第一次上机请从完整实验开始,先运行数据准备,再运行训练与评估。
拓展阅读 · 第一遍可先看结论,再回到必学主线。
先用一句话理解:把多个类别的分数变成总和为 1 的一组数;最大的那个通常作为预测类别。
from sklearn.linear_model import LogisticRegression # 多分类:自动使用 Softmax(multinomial) from sklearn.datasets import load_iris from sklearn.model_selection import train_test_split X, y = load_iris(return_X_y=True) X_train, X_test, y_train, y_test = train_test_split(X, y, stratify=y, random_state=0) clf = LogisticRegression(max_iter=1000) clf.fit(X_train, y_train) print(clf.classes_) # 有哪些类别 print(clf.predict_proba(X_test[:3])) # 每个样本各类概率
课堂代码片段:可能承接前页变量。第一次上机请从完整实验开始,先运行数据准备,再运行训练与评估。
LogisticRegression 一行搞定类别不平衡时,下列哪个指标最能反映模型对少数类的真实表现?
Softmax 输出的 K 个概率之和等于?
对课堂二分类示例分别用 0.3、0.5、0.7 阈值画混淆矩阵。阈值在验证集上选择,测试集只作最终评估。
提交:一张图或一张结果表 + 150 字解释 + 一个局限。
自查:数据如何划分?比简单猜测好多少?能否推广到新样品?