LECTURE 06
KNN 与朴素贝叶斯
K-Nearest Neighbors & Naive Bayes
第 6 讲 · 距离度量 · 最近邻 · 贝叶斯分类
学习路线与实践PPT 第 14 页
先带着一个问题来学
看邻居和看证据,分别怎样做判断?
KNN 像找最相似的已知样品;朴素贝叶斯像把几条证据合起来更新判断。两者分别依赖“怎样算近”和“怎样表达概率”。
学完能做到
说明缩放为何影响距离;比较不同 K;用一句话解释条件独立。
第一遍不必深究:贝叶斯公式推导、不同概率分布的参数估计。
学习路线与实践PPT 第 15 页
先算一个小例子
温度差 100、成分差 0.1,直接算距离时温度可能压倒成分。缩放后再比较,才不至于仅仅因为单位不同改变邻居。
| 特征 | 两个样品的差 | 先问什么 |
|---|
| 温度 | 100 ℃ | 数值大是否仅因单位? |
| 成分比例 | 0.1 | 是否被温度的尺度淹没? |
你来解释:把这个例子用自己的话讲给同桌,指出输入、输出和需要检验的地方。
学习路线与实践PPT 第 16 页
把方法带回材料与物理
材料描述符常混有温度、长度和比例。KNN 前通常需要缩放;朴素贝叶斯的条件独立假设,在相关的谱峰上可能不成立。
本讲要防的误解:K 过小容易受噪声影响,过大可能模糊边界;缩放是常见需要,而非所有数据上的绝对要求。
§6.1 KNN 的思想PPT 第 01 页
物以类聚:看邻居是谁
K 近邻(K-Nearest Neighbors)的想法朴素得惊人:一个样本的类别,由它最近的 K 个邻居投票决定。
- 1算距离
计算新样本与训练集中每个样本的距离
- 2找邻居
找出距离最近的 K 个
- 3投票
多数邻居的类别,就是预测结果(回归取平均)
要点KNN 几乎不需要训练——它把「学习」推迟到了预测时刻,所以也叫惰性学习(lazy learning)。
§6.2 距离度量PPT 第 02 页
怎么衡量「近」
最常用的是欧氏距离(Euclidean),也有曼哈顿距离等。
欧氏距离(直线)
$$d = \sqrt{\sum_{j=1}^{p}(x_j - x'_j)^2}$$
曼哈顿距离(街区)
$$d = \sum_{j=1}^{p}|x_j - x'_j|$$
说明特征尺度不同会扭曲距离——所以 KNN 对特征缩放极其敏感,务必先标准化。
§6.3 K 的选择PPT 第 03 页
K 取多少合适
K = 1
只看最近的一个,边界崎岖,易被噪声/离群点带偏(高方差)
K 较大
看一大片邻居,边界平滑,但可能把远处的类也混进来(高偏差)
注意K 是超参数,用交叉验证选。经验上取奇数(二分类时避免平票),随数据量增大。
§6.4 KNN 的优缺点PPT 第 04 页
简单,但有代价
优点
① 思路直观、无需训练;② 天然支持多分类;③ 无参数假设
缺点
① 预测慢(每次要算与所有样本的距离);② 高维下距离失效(维度灾难);③ 吃内存(要存全部数据)
说明维度灾难:特征很多时,空间变得稀疏,「最近的邻居」也离得很远,距离失去意义。KNN 不适合高维数据。
§6.5 上机:KNNPPT 第 05 页
KNN 实战
knn.pyPython
from sklearn.neighbors import KNeighborsClassifier
from sklearn.preprocessing import StandardScaler
from sklearn.pipeline import make_pipeline
pipe = make_pipeline(StandardScaler(),
KNeighborsClassifier(n_neighbors=5))
pipe.fit(X_train, y_train)
print('acc =', pipe.score(X_test, y_test))要点注意把 StandardScaler 放进 Pipeline:KNN 对尺度敏感,不缩放距离会被大数值特征主导。
课堂代码片段:可能承接前页变量。第一次上机请从完整实验开始,先运行数据准备,再运行训练与评估。
§6.6 概率视角PPT 第 06 页
从「距离投票」到「概率判断」
KNN 是几何直觉,朴素贝叶斯则换一个视角:用概率判断样本属于哪一类。
$$\hat y = \arg\max_{k}\ P(y=k \mid \mathbf{x})$$
说明即:在所有类别里,选那个后验概率最大的。这正是贝叶斯分类器的决策规则。
§6.7 贝叶斯公式PPT 第 07 页
贝叶斯公式
$$P(y \mid \mathbf{x}) =\frac{P(\mathbf{x} \mid y)\,P(y)}{P(\mathbf{x})}$$
| 符号 | 名称 | 含义 |
|---|
| $P(y\mid\mathbf{x})$ | 后验概率 | 看到证据后,属于该类的概率 |
| $P(\mathbf{x}\mid y)$ | 似然 | 该类下出现这样特征的几率 |
| $P(y)$ | 先验概率 | 不看证据时,各类的比例 |
要点直觉:后验 ∝ 似然 × 先验——用证据修正我们最初的判断。
§6.8 朴素贝叶斯PPT 第 08 页
「朴素」在哪里
要算 $P(\mathbf{x}\mid y)$ 需要所有特征的联合分布,太难。朴素贝叶斯做一个大胆假设:特征之间条件独立。
$$P(\mathbf{x}\mid y) = \prod_{j=1}^{p} P(x_j \mid y)$$
注意这个假设在现实中常常不成立(特征往往相关),但它让计算变得极其简单,且在实践中出奇地好用,尤其在高维文本分类里。
§6.8 朴素贝叶斯PPT 第 09 页
三种常见变体
| 变体 | 对特征的假设 | 适用 |
|---|
| 高斯朴素贝叶斯 | 连续值,服从高斯分布 | 一般连续数据 |
| 多项式朴素贝叶斯 | 离散计数 | 文本分类(词频) |
| 伯努利朴素贝叶斯 | 二值特征 | 出现/不出现 |
说明我们的西瓜特征既有连续值(密度、含糖量)也有离散值(色泽、敲声),连续特征常用高斯版本,离散特征可考虑多项式/伯努利版本。
§6.9 上机:朴素贝叶斯PPT 第 10 页
朴素贝叶斯实战
naive_bayes.pyPython
from sklearn.naive_bayes import GaussianNB
gnb = GaussianNB()
gnb.fit(X_train, y_train)
print('acc =', gnb.score(X_test, y_test))
# 也拿训练集对比(看是否过拟合)
print('train acc =', gnb.score(X_train, y_train))要点朴素贝叶斯训练极快、天然输出概率,是基线模型(baseline)的绝佳选择。
课堂代码片段:可能承接前页变量。第一次上机请从完整实验开始,先运行数据准备,再运行训练与评估。
§6.10 KNN vs 朴素贝叶斯PPT 第 11 页
两个「轻量模型」的对比
| 维度 | KNN | 朴素贝叶斯 |
|---|
| 依据 | 距离 / 几何 | 概率 / 贝叶斯 |
| 训练 | 几乎无(惰性) | 极快(估计分布参数) |
| 预测 | 慢(遍历所有样本) | 快(直接算概率) |
| 高维 | 差(维度灾难) | 较好(独立假设简化) |
| 对尺度 | 极敏感 | 高斯版仍需注意 |
说明选择建议:数据少、维度低、要直观 → KNN;要高维快速概率分类 → 朴素贝叶斯。
§6.11 小结PPT 第 12 页
小结
- 1KNN
K 个最近邻居投票,惰性学习,对尺度敏感
- 2距离
欧氏距离为主,先标准化
- 3贝叶斯
后验 ∝ 似然 × 先验
- 4朴素假设
特征条件独立,简单却好用
- 5定位
都是快速上手的基线模型
§6.12 思考PPT 第 13 页
思考题
Q1不同特征量纲差别很大时,KNN 为什么通常要缩放?
A。不同尺度会让距离失真,大数值特征权重过大。
Q2朴素贝叶斯的「朴素」指什么假设?
A。假设各特征在给定类别下相互独立。
学习路线与实践PPT 第 17 页
动手任务:交出结果,也交出解释
在同一验证划分上比较 K=1、5、15,并比较缩放前后结果。只用训练数据拟合缩放器。
提交:一张图或一张结果表 + 150 字解释 + 一个局限。
自查:数据如何划分?比简单猜测好多少?能否推广到新样品?
打开实验与结课项目指南