机器学习导论
课程中心/ 机器学习导论/ 阅读资料/ 第 7 讲
K-means · PCA · t-SNE
LECTURE 07

无监督学习与降维

Unsupervised Learning & Dimensionality Reduction
第 7 讲 · K-means · PCA · t-SNE
学习路线与实践PPT 第 16 页

先带着一个问题来学

没有答案,怎样发现数据中的结构?

聚类像把散落的样品按相似性分堆;PCA 像换一个观察角度,让照片尽量保留差异。它们都不会自动给出物理解释。

学完能做到

区分聚类与分类;解释方差保留比例;谨慎解读二维图。

第一遍不必深究:PCA 特征值推导、t-SNE 优化目标。

学习路线与实践PPT 第 17 页

先算一个小例子

若两个特征几乎总一起增大,散点像一条斜带。沿斜带看比沿某个坐标轴看保留更多变化,这就是第一主成分的直觉。

沿长轴看:保留更多变化特征 1
这是几何示意,不是实验数据。PCA 不使用类别标签寻找方向。
你来解释:把这个例子用自己的话讲给同桌,指出输入、输出和需要检验的地方。
学习路线与实践PPT 第 18 页

把方法带回材料与物理

把谱图的每个采样点当作一列,就会得到很多特征。实验 A 的 PCA 图是练习观察角度,不是发现真实材料相。

本讲要防的误解:簇可能来自仪器或批次;t-SNE 图上的簇间距离和大小不宜直接解释为物理差异。
§7.1 没有标签怎么办PPT 第 01 页

从「有答案」到「自己找结构」

前 6 讲都是监督学习(有标签)。现实中很多数据没有标签,但我们仍想从中发现规律——比如一批西瓜没标注好坏,能否自动看出它们有几类?

任务目标例子
聚类 Clustering把相似样本分到一组把西瓜按外观自动分成若干类
降维 Reduction高维压到低维,便于观察把多维西瓜特征画到二维图
要点无监督学习的难点:没有标准答案,好坏要靠领域知识或下游任务来评判。
§7.2 K-means 聚类PPT 第 02 页

K-means:把样本分到 K 堆

K-means 算法
输入:样本集,簇数 K
1. 随机初始化 K 个簇中心(质心)
2. 重复直到收敛:
a. 把每个样本分配到最近的质心
b. 用每簇样本的均值更新质心
输出:K 个簇及其中心
说明思路就是「先分堆、再挪中心,来回迭代」,本质是让「簇内距离」尽量小。
§7.2 K-means 聚类PPT 第 03 页

K 怎么定:肘部法则

K-means 需要预先指定簇数 $K$。常用肘部法则(elbow method):画「簇内平方和 vs K」,找拐点。

要点随 $K$ 增大,簇内距离单调下降,但下降到某个点后边际收益骤减,那个「肘部」就是合理的 $K$。
§7.2 K-means 聚类PPT 第 04 页

K-means 的局限

要预先定 K
K 不知道就得试或靠经验
对初始化敏感
不同随机起点可能收敛到不同结果
假设球形簇
对细长、异形的簇分不好
注意因为对初始化敏感,常跑多次取最好,或用 k-means++ 优化初始质心的选择。
§7.3 上机:K-meansPPT 第 05 页

K-means 实战

kmeans.pyPython
from sklearn.cluster import KMeans
from sklearn.preprocessing import StandardScaler

X_scaled = StandardScaler().fit_transform(X)
km = KMeans(n_clusters=3, n_init=10, random_state=0)
labels = km.fit_predict(X_scaled)

print('质心:', km.cluster_centers_)
print('标签:', labels)
要点fit_predict 返回每个样本的簇编号。聚类同样对尺度敏感,记得先标准化。

课堂代码片段:可能承接前页变量。第一次上机请从完整实验开始,先运行数据准备,再运行训练与评估。

§7.4 降维的动机PPT 第 06 页

高维数据的困境

一个西瓜可以描述成很多特征(色泽、根蒂、敲声、纹理、触感、密度、含糖量…),维度一多人就难以直接「看」。降维要回答:能不能用更少的维度抓住主要信息?

可视化
把高维数据投到 2D/3D,让人能观察结构
去噪
舍掉噪声维度,保留信号
加速
下游模型输入更小,训练更快
说明本讲两大主角:PCA(线性降维)与 t-SNE(非线性、可视化利器)。
§7.5 PCA 主成分分析PPT 第 07 页

PCA:找方差最大的方向

主成分分析(PCA)找一组新的正交坐标轴,让数据沿这些轴投影后方差最大。

  1. 1中心化
    数据减去均值
  2. 2算协方差矩阵
    $C = \dfrac1n X^{\top}X$
  3. 3特征分解
    取最大特征值对应的特征向量为主成分方向
  4. 4投影
    保留前 $d$ 个主成分,得到低维表示
要点第一主成分 = 方差最大的方向;第二主成分 = 与它正交的次大方向,依此类推。
§7.5 PCA 主成分分析PPT 第 08 页

方差解释率

每个主成分解释了多少方差,可用解释方差比(explained variance ratio)衡量。

$$\text{解释方差比}_k = \frac{\lambda_k}{\sum_{j} \lambda_j}$$
说明前几个主成分的解释方差比之和接近 1,说明数据「本质维度」低,降维损失小。这是判断「降到几维合适」的依据。
§7.6 上机:PCAPPT 第 09 页

PCA 实战

pca.pyPython
from sklearn.decomposition import PCA

pca = PCA(n_components=2)
X_2d = pca.fit_transform(X_scaled)

print('解释方差比:', pca.explained_variance_ratio_)
要点把高维西瓜特征投到二维,散点图上一目了然,往往能看出不同品种的自然分组。

课堂代码片段:可能承接前页变量。第一次上机请从完整实验开始,先运行数据准备,再运行训练与评估。

§7.7 t-SNEPPT 第 10 页

t-SNE:为可视化而生

拓展阅读 · 第一遍可先看结论,再回到必学主线。

t 分布随机邻域嵌入(t-SNE)是非线性降维,主要用于展示高维数据的局部邻近关系;图上远近未必保留原空间的整体距离。

保留局部结构
高维里相近的点,低维里也尽量靠近
不适合还原
输出坐标无物理意义,主要用于探索性可视化,不宜直接作为通用预测特征
注意t-SNE 有超参数(perplexity)且结果随随机种子变化,只做探索性可视化,别拿它当特征提取。
§7.7 t-SNEPPT 第 11 页

t-SNE 实战

拓展阅读 · 第一遍可先看结论,再回到必学主线。

tsne.pyPython
from sklearn.manifold import TSNE

tsne = TSNE(n_components=2, perplexity=30,
            random_state=0)
X_embed = tsne.fit_transform(X_scaled)
说明perplexity 大致是「每个点关注的邻居数」,常取 5–50,影响图的分辨率。

课堂代码片段:可能承接前页变量。第一次上机请从完整实验开始,先运行数据准备,再运行训练与评估。

§7.8 PCA vs t-SNEPPT 第 12 页

两者怎么选

维度PCAt-SNE
性质线性非线性
速度快慢(数据量大时很慢)
可解释主成分方向有意义坐标无意义
用途降维 + 去噪 + 预处理可视化
要点经验:先 PCA 降维,再 t-SNE 可视化,是探索高维数据(西瓜特征、谱图、材料描述符皆如此)的常用组合拳。
§7.9 应用:无标签数据PPT 第 13 页

一个完整案例:西瓜自动分组

假设有一大批没标好坏的西瓜,想自动分成几类(不同品种 / 成熟度)。

  1. 1特征化
    把每只西瓜的色泽、密度、含糖量等量化成特征向量
  2. 2标准化
    消除不同量纲差异
  3. 3PCA
    降到二维,去噪
  4. 4K-means
    聚类,观察是否与品种对应
  5. 5t-SNE
    画二维图,验证分组是否合理
要点这条「PCA → 聚类 → t-SNE 可视化」链路,是无标签数据探索里非常实用的模板,同样适用于你后续会遇到的谱图、材料数据。
§7.10 小结PPT 第 14 页

小结

  1. 1聚类
    K-means:无标签分组,需预先定 K
  2. 2PCA
    线性降维,找方差最大方向
  3. 3t-SNE
    非线性可视化,保留局部结构
  4. 4组合
    PCA 去噪 → 聚类 → t-SNE 可视化
§7.11 思考PPT 第 15 页

思考题

Q1

PCA 第一主成分的方向是?

  • 方差最大的方向
  • 任意方向
  • 标签最相关的方向
A。PCA 找的是数据方差最大的正交方向。
Q2

本课中 t-SNE 二维坐标主要用来做什么?

  • 证明材料之间的物理距离
  • 探索数据的局部邻近结构
  • 替代独立测试集评估
B。本课主要用它作探索性可视化,不把二维图直接当作物理规律。
学习路线与实践PPT 第 19 页

动手任务:交出结果,也交出解释

完成实验 A 的 PCA 部分:保留两维,记录解释方差比例。改变缩放方式,说明图形为什么可能改变。

提交:一张图或一张结果表 + 150 字解释 + 一个局限。

自查:数据如何划分?比简单猜测好多少?能否推广到新样品?

打开实验与结课项目指南

1 / 1 100%

幻灯片目录

← → 翻页 空格 下一页 F 全屏 O / Esc 目录 数字键 1-9 快速跳页 字号:= 放大 / − 缩小 / 0 复位