机器学习导论
课程中心/ 机器学习导论/ 阅读资料/ 第 6 讲
距离度量 · 最近邻 · 贝叶斯分类
LECTURE 06

KNN 与朴素贝叶斯

K-Nearest Neighbors & Naive Bayes
第 6 讲 · 距离度量 · 最近邻 · 贝叶斯分类
学习路线与实践PPT 第 14 页

先带着一个问题来学

看邻居和看证据,分别怎样做判断?

KNN 像找最相似的已知样品;朴素贝叶斯像把几条证据合起来更新判断。两者分别依赖“怎样算近”和“怎样表达概率”。

学完能做到

说明缩放为何影响距离;比较不同 K;用一句话解释条件独立。

第一遍不必深究:贝叶斯公式推导、不同概率分布的参数估计。

学习路线与实践PPT 第 15 页

先算一个小例子

温度差 100、成分差 0.1,直接算距离时温度可能压倒成分。缩放后再比较,才不至于仅仅因为单位不同改变邻居。

特征两个样品的差先问什么
温度100 ℃数值大是否仅因单位?
成分比例0.1是否被温度的尺度淹没?
你来解释:把这个例子用自己的话讲给同桌,指出输入、输出和需要检验的地方。
学习路线与实践PPT 第 16 页

把方法带回材料与物理

材料描述符常混有温度、长度和比例。KNN 前通常需要缩放;朴素贝叶斯的条件独立假设,在相关的谱峰上可能不成立。

本讲要防的误解:K 过小容易受噪声影响,过大可能模糊边界;缩放是常见需要,而非所有数据上的绝对要求。
§6.1 KNN 的思想PPT 第 01 页

物以类聚:看邻居是谁

K 近邻(K-Nearest Neighbors)的想法朴素得惊人:一个样本的类别,由它最近的 K 个邻居投票决定。

  1. 1算距离
    计算新样本与训练集中每个样本的距离
  2. 2找邻居
    找出距离最近的 K 个
  3. 3投票
    多数邻居的类别,就是预测结果(回归取平均)
要点KNN 几乎不需要训练——它把「学习」推迟到了预测时刻,所以也叫惰性学习(lazy learning)。
§6.2 距离度量PPT 第 02 页

怎么衡量「近」

最常用的是欧氏距离(Euclidean),也有曼哈顿距离等。

欧氏距离(直线)
$$d = \sqrt{\sum_{j=1}^{p}(x_j - x'_j)^2}$$
曼哈顿距离(街区)
$$d = \sum_{j=1}^{p}|x_j - x'_j|$$
说明特征尺度不同会扭曲距离——所以 KNN 对特征缩放极其敏感,务必先标准化。
§6.3 K 的选择PPT 第 03 页

K 取多少合适

K = 1
只看最近的一个,边界崎岖,易被噪声/离群点带偏(高方差)
K 较大
看一大片邻居,边界平滑,但可能把远处的类也混进来(高偏差)
注意K 是超参数,用交叉验证选。经验上取奇数(二分类时避免平票),随数据量增大。
§6.4 KNN 的优缺点PPT 第 04 页

简单,但有代价

优点
① 思路直观、无需训练;② 天然支持多分类;③ 无参数假设
缺点
① 预测慢(每次要算与所有样本的距离);② 高维下距离失效(维度灾难);③ 吃内存(要存全部数据)
说明维度灾难:特征很多时,空间变得稀疏,「最近的邻居」也离得很远,距离失去意义。KNN 不适合高维数据。
§6.5 上机:KNNPPT 第 05 页

KNN 实战

knn.pyPython
from sklearn.neighbors import KNeighborsClassifier
from sklearn.preprocessing import StandardScaler
from sklearn.pipeline import make_pipeline

pipe = make_pipeline(StandardScaler(),
                     KNeighborsClassifier(n_neighbors=5))
pipe.fit(X_train, y_train)
print('acc =', pipe.score(X_test, y_test))
要点注意把 StandardScaler 放进 Pipeline:KNN 对尺度敏感,不缩放距离会被大数值特征主导。

课堂代码片段:可能承接前页变量。第一次上机请从完整实验开始,先运行数据准备,再运行训练与评估。

§6.6 概率视角PPT 第 06 页

从「距离投票」到「概率判断」

KNN 是几何直觉,朴素贝叶斯则换一个视角:用概率判断样本属于哪一类。

$$\hat y = \arg\max_{k}\ P(y=k \mid \mathbf{x})$$
说明即:在所有类别里,选那个后验概率最大的。这正是贝叶斯分类器的决策规则。
§6.7 贝叶斯公式PPT 第 07 页

贝叶斯公式

$$P(y \mid \mathbf{x}) =\frac{P(\mathbf{x} \mid y)\,P(y)}{P(\mathbf{x})}$$
符号名称含义
$P(y\mid\mathbf{x})$后验概率看到证据后,属于该类的概率
$P(\mathbf{x}\mid y)$似然该类下出现这样特征的几率
$P(y)$先验概率不看证据时,各类的比例
要点直觉:后验 ∝ 似然 × 先验——用证据修正我们最初的判断。
§6.8 朴素贝叶斯PPT 第 08 页

「朴素」在哪里

要算 $P(\mathbf{x}\mid y)$ 需要所有特征的联合分布,太难。朴素贝叶斯做一个大胆假设:特征之间条件独立。

$$P(\mathbf{x}\mid y) = \prod_{j=1}^{p} P(x_j \mid y)$$
注意这个假设在现实中常常不成立(特征往往相关),但它让计算变得极其简单,且在实践中出奇地好用,尤其在高维文本分类里。
§6.8 朴素贝叶斯PPT 第 09 页

三种常见变体

变体对特征的假设适用
高斯朴素贝叶斯连续值,服从高斯分布一般连续数据
多项式朴素贝叶斯离散计数文本分类(词频)
伯努利朴素贝叶斯二值特征出现/不出现
说明我们的西瓜特征既有连续值(密度、含糖量)也有离散值(色泽、敲声),连续特征常用高斯版本,离散特征可考虑多项式/伯努利版本。
§6.9 上机:朴素贝叶斯PPT 第 10 页

朴素贝叶斯实战

naive_bayes.pyPython
from sklearn.naive_bayes import GaussianNB

gnb = GaussianNB()
gnb.fit(X_train, y_train)
print('acc =', gnb.score(X_test, y_test))

# 也拿训练集对比(看是否过拟合)
print('train acc =', gnb.score(X_train, y_train))
要点朴素贝叶斯训练极快、天然输出概率,是基线模型(baseline)的绝佳选择。

课堂代码片段:可能承接前页变量。第一次上机请从完整实验开始,先运行数据准备,再运行训练与评估。

§6.10 KNN vs 朴素贝叶斯PPT 第 11 页

两个「轻量模型」的对比

维度KNN朴素贝叶斯
依据距离 / 几何概率 / 贝叶斯
训练几乎无(惰性)极快(估计分布参数)
预测慢(遍历所有样本)快(直接算概率)
高维差(维度灾难)较好(独立假设简化)
对尺度极敏感高斯版仍需注意
说明选择建议:数据少、维度低、要直观 → KNN;要高维快速概率分类 → 朴素贝叶斯。
§6.11 小结PPT 第 12 页

小结

  1. 1KNN
    K 个最近邻居投票,惰性学习,对尺度敏感
  2. 2距离
    欧氏距离为主,先标准化
  3. 3贝叶斯
    后验 ∝ 似然 × 先验
  4. 4朴素假设
    特征条件独立,简单却好用
  5. 5定位
    都是快速上手的基线模型
§6.12 思考PPT 第 13 页

思考题

Q1

不同特征量纲差别很大时,KNN 为什么通常要缩放?

  • 距离会被大数值特征主导
  • 能加快训练
  • 纯属习惯
A。不同尺度会让距离失真,大数值特征权重过大。
Q2

朴素贝叶斯的「朴素」指什么假设?

  • 特征条件独立
  • 数据一定线性可分
  • 样本等权
A。假设各特征在给定类别下相互独立。
学习路线与实践PPT 第 17 页

动手任务:交出结果,也交出解释

在同一验证划分上比较 K=1、5、15,并比较缩放前后结果。只用训练数据拟合缩放器。

提交:一张图或一张结果表 + 150 字解释 + 一个局限。

自查:数据如何划分?比简单猜测好多少?能否推广到新样品?

打开实验与结课项目指南

1 / 1 100%

幻灯片目录

← → 翻页 空格 下一页 F 全屏 O / Esc 目录 数字键 1-9 快速跳页 字号:= 放大 / − 缩小 / 0 复位