LECTURE 07
无监督学习与降维
Unsupervised Learning & Dimensionality Reduction
第 7 讲 · K-means · PCA · t-SNE
学习路线与实践PPT 第 16 页
先带着一个问题来学
没有答案,怎样发现数据中的结构?
聚类像把散落的样品按相似性分堆;PCA 像换一个观察角度,让照片尽量保留差异。它们都不会自动给出物理解释。
学完能做到
区分聚类与分类;解释方差保留比例;谨慎解读二维图。
第一遍不必深究:PCA 特征值推导、t-SNE 优化目标。
学习路线与实践PPT 第 17 页
先算一个小例子
若两个特征几乎总一起增大,散点像一条斜带。沿斜带看比沿某个坐标轴看保留更多变化,这就是第一主成分的直觉。
这是几何示意,不是实验数据。PCA 不使用类别标签寻找方向。你来解释:把这个例子用自己的话讲给同桌,指出输入、输出和需要检验的地方。
学习路线与实践PPT 第 18 页
把方法带回材料与物理
把谱图的每个采样点当作一列,就会得到很多特征。实验 A 的 PCA 图是练习观察角度,不是发现真实材料相。
本讲要防的误解:簇可能来自仪器或批次;t-SNE 图上的簇间距离和大小不宜直接解释为物理差异。
§7.1 没有标签怎么办PPT 第 01 页
从「有答案」到「自己找结构」
前 6 讲都是监督学习(有标签)。现实中很多数据没有标签,但我们仍想从中发现规律——比如一批西瓜没标注好坏,能否自动看出它们有几类?
| 任务 | 目标 | 例子 |
|---|
| 聚类 Clustering | 把相似样本分到一组 | 把西瓜按外观自动分成若干类 |
| 降维 Reduction | 高维压到低维,便于观察 | 把多维西瓜特征画到二维图 |
要点无监督学习的难点:没有标准答案,好坏要靠领域知识或下游任务来评判。
§7.2 K-means 聚类PPT 第 02 页
K-means:把样本分到 K 堆
K-means 算法
输入:样本集,簇数 K
1. 随机初始化 K 个簇中心(质心)
2. 重复直到收敛:
a. 把每个样本分配到最近的质心
b. 用每簇样本的均值更新质心
输出:K 个簇及其中心
说明思路就是「先分堆、再挪中心,来回迭代」,本质是让「簇内距离」尽量小。
§7.2 K-means 聚类PPT 第 03 页
K 怎么定:肘部法则
K-means 需要预先指定簇数 $K$。常用肘部法则(elbow method):画「簇内平方和 vs K」,找拐点。
要点随 $K$ 增大,簇内距离单调下降,但下降到某个点后边际收益骤减,那个「肘部」就是合理的 $K$。
§7.2 K-means 聚类PPT 第 04 页
K-means 的局限
注意因为对初始化敏感,常跑多次取最好,或用 k-means++ 优化初始质心的选择。
§7.3 上机:K-meansPPT 第 05 页
K-means 实战
kmeans.pyPython
from sklearn.cluster import KMeans
from sklearn.preprocessing import StandardScaler
X_scaled = StandardScaler().fit_transform(X)
km = KMeans(n_clusters=3, n_init=10, random_state=0)
labels = km.fit_predict(X_scaled)
print('质心:', km.cluster_centers_)
print('标签:', labels)要点fit_predict 返回每个样本的簇编号。聚类同样对尺度敏感,记得先标准化。
课堂代码片段:可能承接前页变量。第一次上机请从完整实验开始,先运行数据准备,再运行训练与评估。
§7.4 降维的动机PPT 第 06 页
高维数据的困境
一个西瓜可以描述成很多特征(色泽、根蒂、敲声、纹理、触感、密度、含糖量…),维度一多人就难以直接「看」。降维要回答:能不能用更少的维度抓住主要信息?
说明本讲两大主角:PCA(线性降维)与 t-SNE(非线性、可视化利器)。
§7.5 PCA 主成分分析PPT 第 07 页
PCA:找方差最大的方向
主成分分析(PCA)找一组新的正交坐标轴,让数据沿这些轴投影后方差最大。
- 1中心化
数据减去均值
- 2算协方差矩阵
$C = \dfrac1n X^{\top}X$
- 3特征分解
取最大特征值对应的特征向量为主成分方向
- 4投影
保留前 $d$ 个主成分,得到低维表示
要点第一主成分 = 方差最大的方向;第二主成分 = 与它正交的次大方向,依此类推。
§7.5 PCA 主成分分析PPT 第 08 页
方差解释率
每个主成分解释了多少方差,可用解释方差比(explained variance ratio)衡量。
$$\text{解释方差比}_k = \frac{\lambda_k}{\sum_{j} \lambda_j}$$
说明前几个主成分的解释方差比之和接近 1,说明数据「本质维度」低,降维损失小。这是判断「降到几维合适」的依据。
§7.6 上机:PCAPPT 第 09 页
PCA 实战
pca.pyPython
from sklearn.decomposition import PCA
pca = PCA(n_components=2)
X_2d = pca.fit_transform(X_scaled)
print('解释方差比:', pca.explained_variance_ratio_)要点把高维西瓜特征投到二维,散点图上一目了然,往往能看出不同品种的自然分组。
课堂代码片段:可能承接前页变量。第一次上机请从完整实验开始,先运行数据准备,再运行训练与评估。
§7.7 t-SNEPPT 第 10 页
t-SNE:为可视化而生
拓展阅读 · 第一遍可先看结论,再回到必学主线。
t 分布随机邻域嵌入(t-SNE)是非线性降维,主要用于展示高维数据的局部邻近关系;图上远近未必保留原空间的整体距离。
不适合还原
输出坐标无物理意义,主要用于探索性可视化,不宜直接作为通用预测特征
注意t-SNE 有超参数(perplexity)且结果随随机种子变化,只做探索性可视化,别拿它当特征提取。
§7.7 t-SNEPPT 第 11 页
t-SNE 实战
拓展阅读 · 第一遍可先看结论,再回到必学主线。
tsne.pyPython
from sklearn.manifold import TSNE
tsne = TSNE(n_components=2, perplexity=30,
random_state=0)
X_embed = tsne.fit_transform(X_scaled)说明perplexity 大致是「每个点关注的邻居数」,常取 5–50,影响图的分辨率。
课堂代码片段:可能承接前页变量。第一次上机请从完整实验开始,先运行数据准备,再运行训练与评估。
§7.8 PCA vs t-SNEPPT 第 12 页
两者怎么选
| 维度 | PCA | t-SNE |
|---|
| 性质 | 线性 | 非线性 |
| 速度 | 快 | 慢(数据量大时很慢) |
| 可解释 | 主成分方向有意义 | 坐标无意义 |
| 用途 | 降维 + 去噪 + 预处理 | 可视化 |
要点经验:先 PCA 降维,再 t-SNE 可视化,是探索高维数据(西瓜特征、谱图、材料描述符皆如此)的常用组合拳。
§7.9 应用:无标签数据PPT 第 13 页
一个完整案例:西瓜自动分组
假设有一大批没标好坏的西瓜,想自动分成几类(不同品种 / 成熟度)。
- 1特征化
把每只西瓜的色泽、密度、含糖量等量化成特征向量
- 2标准化
消除不同量纲差异
- 3PCA
降到二维,去噪
- 4K-means
聚类,观察是否与品种对应
- 5t-SNE
画二维图,验证分组是否合理
要点这条「PCA → 聚类 → t-SNE 可视化」链路,是无标签数据探索里非常实用的模板,同样适用于你后续会遇到的谱图、材料数据。
§7.10 小结PPT 第 14 页
小结
- 1聚类
K-means:无标签分组,需预先定 K
- 2PCA
线性降维,找方差最大方向
- 3t-SNE
非线性可视化,保留局部结构
- 4组合
PCA 去噪 → 聚类 → t-SNE 可视化
§7.11 思考PPT 第 15 页
思考题
Q1PCA 第一主成分的方向是?
A。PCA 找的是数据方差最大的正交方向。
Q2本课中 t-SNE 二维坐标主要用来做什么?
- 证明材料之间的物理距离
- 探索数据的局部邻近结构
- 替代独立测试集评估
B。本课主要用它作探索性可视化,不把二维图直接当作物理规律。
学习路线与实践PPT 第 19 页
动手任务:交出结果,也交出解释
完成实验 A 的 PCA 部分:保留两维,记录解释方差比例。改变缩放方式,说明图形为什么可能改变。
提交:一张图或一张结果表 + 150 字解释 + 一个局限。
自查:数据如何划分?比简单猜测好多少?能否推广到新样品?
打开实验与结课项目指南