先带着一个问题来学对应幻灯片 PPT 第 14 页
看邻居和看证据,分别怎样做判断?
KNN 像找最相似的已知样品;朴素贝叶斯像把几条证据合起来更新判断。两者分别依赖“怎样算近”和“怎样表达概率”。
学完能做到
说明缩放为何影响距离;比较不同 K;用一句话解释条件独立。
第一遍不必深究:贝叶斯公式推导、不同概率分布的参数估计。
先算一个小例子对应幻灯片 PPT 第 15 页
温度差 100、成分差 0.1,直接算距离时温度可能压倒成分。缩放后再比较,才不至于仅仅因为单位不同改变邻居。
| 特征 | 两个样品的差 | 先问什么 |
|---|---|---|
| 温度 | 100 ℃ | 数值大是否仅因单位? |
| 成分比例 | 0.1 | 是否被温度的尺度淹没? |
把方法带回材料与物理对应幻灯片 PPT 第 16 页
材料描述符常混有温度、长度和比例。KNN 前通常需要缩放;朴素贝叶斯的条件独立假设,在相关的谱峰上可能不成立。
物以类聚:看邻居是谁对应幻灯片 PPT 第 1 页
K 近邻(K-Nearest Neighbors)的想法朴素得惊人:一个样本的类别,由它最近的 K 个邻居投票决定。
- 1算距离计算新样本与训练集中每个样本的距离
- 2找邻居找出距离最近的 K 个
- 3投票多数邻居的类别,就是预测结果(回归取平均)
怎么衡量「近」对应幻灯片 PPT 第 2 页
最常用的是欧氏距离(Euclidean),也有曼哈顿距离等。
K 取多少合适对应幻灯片 PPT 第 3 页
简单,但有代价对应幻灯片 PPT 第 4 页
KNN 实战对应幻灯片 PPT 第 5 页
from sklearn.neighbors import KNeighborsClassifier
from sklearn.preprocessing import StandardScaler
from sklearn.pipeline import make_pipeline
pipe = make_pipeline(StandardScaler(),
KNeighborsClassifier(n_neighbors=5))
pipe.fit(X_train, y_train)
print('acc =', pipe.score(X_test, y_test))StandardScaler 放进 Pipeline:KNN 对尺度敏感,不缩放距离会被大数值特征主导。课堂代码片段:可能承接前页变量。第一次上机请从完整实验开始,先运行数据准备,再运行训练与评估。
从「距离投票」到「概率判断」对应幻灯片 PPT 第 6 页
KNN 是几何直觉,朴素贝叶斯则换一个视角:用概率判断样本属于哪一类。
贝叶斯公式对应幻灯片 PPT 第 7 页
| 符号 | 名称 | 含义 |
|---|---|---|
| $P(y\mid\mathbf{x})$ | 后验概率 | 看到证据后,属于该类的概率 |
| $P(\mathbf{x}\mid y)$ | 似然 | 该类下出现这样特征的几率 |
| $P(y)$ | 先验概率 | 不看证据时,各类的比例 |
「朴素」在哪里对应幻灯片 PPT 第 8 页
要算 $P(\mathbf{x}\mid y)$ 需要所有特征的联合分布,太难。朴素贝叶斯做一个大胆假设:特征之间条件独立。
三种常见变体对应幻灯片 PPT 第 9 页
| 变体 | 对特征的假设 | 适用 |
|---|---|---|
| 高斯朴素贝叶斯 | 连续值,服从高斯分布 | 一般连续数据 |
| 多项式朴素贝叶斯 | 离散计数 | 文本分类(词频) |
| 伯努利朴素贝叶斯 | 二值特征 | 出现/不出现 |
朴素贝叶斯实战对应幻灯片 PPT 第 10 页
from sklearn.naive_bayes import GaussianNB
gnb = GaussianNB()
gnb.fit(X_train, y_train)
print('acc =', gnb.score(X_test, y_test))
# 也拿训练集对比(看是否过拟合)
print('train acc =', gnb.score(X_train, y_train))课堂代码片段:可能承接前页变量。第一次上机请从完整实验开始,先运行数据准备,再运行训练与评估。
两个「轻量模型」的对比对应幻灯片 PPT 第 11 页
| 维度 | KNN | 朴素贝叶斯 |
|---|---|---|
| 依据 | 距离 / 几何 | 概率 / 贝叶斯 |
| 训练 | 几乎无(惰性) | 极快(估计分布参数) |
| 预测 | 慢(遍历所有样本) | 快(直接算概率) |
| 高维 | 差(维度灾难) | 较好(独立假设简化) |
| 对尺度 | 极敏感 | 高斯版仍需注意 |
小结对应幻灯片 PPT 第 12 页
- 1KNNK 个最近邻居投票,惰性学习,对尺度敏感
- 2距离欧氏距离为主,先标准化
- 3贝叶斯后验 ∝ 似然 × 先验
- 4朴素假设特征条件独立,简单却好用
- 5定位都是快速上手的基线模型
思考题对应幻灯片 PPT 第 13 页
不同特征量纲差别很大时,KNN 为什么通常要缩放?
- 距离会被大数值特征主导
- 能加快训练
- 纯属习惯
朴素贝叶斯的「朴素」指什么假设?
- 特征条件独立
- 数据一定线性可分
- 样本等权
动手任务:交出结果,也交出解释对应幻灯片 PPT 第 17 页
在同一验证划分上比较 K=1、5、15,并比较缩放前后结果。只用训练数据拟合缩放器。
提交:一张图或一张结果表 + 150 字解释 + 一个局限。
自查:数据如何划分?比简单猜测好多少?能否推广到新样品?
课后慢读:从会说到会做
第一步:合上公式,解释问题
先回答“看邻居和看证据,分别怎样做判断?”。KNN 像找最相似的已知样品;朴素贝叶斯像把几条证据合起来更新判断。两者分别依赖“怎样算近”和“怎样表达概率”。 这个比喻只是帮助入门,模型最终仍要接受独立数据的检验。
第二步:拿小例子核对
温度差 100、成分差 0.1,直接算距离时温度可能压倒成分。缩放后再比较,才不至于仅仅因为单位不同改变邻居。 请写下中间步骤;不能只抄结论。若换一组数据,你的解释是否仍成立?
第三步:联系专业场景
材料描述符常混有温度、长度和比例。KNN 前通常需要缩放;朴素贝叶斯的条件独立假设,在相关的谱峰上可能不成立。
第四步:提交一个可以检查的结果
在同一验证划分上比较 K=1、5、15,并比较缩放前后结果。只用训练数据拟合缩放器。
参考判断与常见误区
K 过小容易受噪声影响,过大可能模糊边界;缩放是常见需要,而非所有数据上的绝对要求。
报告中分别写“我观察到什么”和“我推测为什么”。观察由图表支持;推测需要进一步实验。分数较低也可以是一份好报告,前提是数据划分合理、分析诚实。
基础达标:说明缩放为何影响距离;比较不同 K;用一句话解释条件独立。进阶再读:贝叶斯公式推导、不同概率分布的参数估计。
附:PPT 页码对照表
| 页 | 内容 | 放映版深链 |
|---|---|---|
| 14 | 先带着一个问题来学 | 第 14 页 |
| 15 | 先算一个小例子 | 第 15 页 |
| 16 | 把方法带回材料与物理 | 第 16 页 |
| 01 | 物以类聚:看邻居是谁 | 第 1 页 |
| 02 | 怎么衡量「近」 | 第 2 页 |
| 03 | K 取多少合适 | 第 3 页 |
| 04 | 简单,但有代价 | 第 4 页 |
| 05 | KNN 实战 | 第 5 页 |
| 06 | 从「距离投票」到「概率判断」 | 第 6 页 |
| 07 | 贝叶斯公式 | 第 7 页 |
| 08 | 「朴素」在哪里 | 第 8 页 |
| 09 | 三种常见变体 | 第 9 页 |
| 10 | 朴素贝叶斯实战 | 第 10 页 |
| 11 | 两个「轻量模型」的对比 | 第 11 页 |
| 12 | 小结 | 第 12 页 |
| 13 | 思考题 | 第 13 页 |
| 17 | 动手任务:交出结果,也交出解释 | 第 17 页 |