LECTURE 05
决策树与集成学习
Decision Trees & Ensemble Learning
第 5 讲 · 决策树 · 随机森林 · GBDT / XGBoost
学习路线与实践PPT 第 17 页
先带着一个问题来学
一棵树怎样判断,多棵树为什么可能更稳?
决策树像逐步问问题:“温度高吗?”“粒径小吗?”每次把数据分成更相近的两堆。森林让许多不同的树一起给答案。
学完能做到
读懂一棵浅树;比较单树与森林;区分预测重要性和物理因果。
第一遍不必深究:信息增益推导、GBDT 梯度细节和 XGBoost 参数。
学习路线与实践PPT 第 18 页
先算一个小例子
四个样品标签为好、好、坏、坏,混在一起不好判断。某个条件把它们分成“好、好”和“坏、坏”,这一问就很有用。
温度是否较高?→是:再看粒径→否:再看成分→走到叶子给出预测按箭头读一遍,再用自己的话解释。你来解释:把这个例子用自己的话讲给同桌,指出输入、输出和需要检验的地方。
学习路线与实践PPT 第 19 页
把方法带回材料与物理
回到实验 A,在完全相同的训练和测试划分上比较直线与森林。让模型竞赛公平,不能为某个模型另挑更容易的测试集。
本讲要防的误解:越深越容易记住训练样本。重要性高表示模型使用了这个特征,不表示改变它一定会改变材料性质。
§5.1 决策树的思想PPT 第 01 页
像「二十个问题」一样分类
决策树通过一连串「是 / 否」的判断,把样本一层层分到叶子上。判断一只西瓜:
- 1从根节点出发
对整个西瓜集提一个最能区分的问题:纹理是否清晰?
- 2逐层分裂
纹理清晰 → 再看根蒂;纹理模糊 → 再看敲声…
- 3到叶节点
叶子上多数样本的类别(好瓜 / 坏瓜),就是预测结果
要点好处:可解释——预测路径就是一条规则链,人能看懂「为什么这么判」。
§5.2 如何选择分裂PPT 第 02 页
什么样的分裂是「好」的
理想的分裂,应该让每个子节点里的样本类别越纯越好。
说明衡量「纯 / 不纯」有两个常用指标:基尼不纯度(Gini)与信息熵(entropy)。
§5.2 如何选择分裂PPT 第 03 页
基尼不纯度与信息熵
先用一句话理解:一堆样品的类别越混杂,越难猜。树希望分开后每堆更纯。
基尼不纯度 Gini
$$G = 1 - \sum_{k=1}^{K} p_k^2$$
信息熵 Entropy
$$H = -\sum_{k=1}^{K} p_k \log_2 p_k$$
说明两者都在「类别均匀混杂」时取最大、在「单一类别」时取 0。其中 $p_k$ 是第 $k$ 类样本的比例,$K$ 是类别数;约定 $0\log_2 0=0$。
分裂的增益 = 分裂前的不纯度(或熵)− 分裂后各子节点对应指标的加权和。
§5.2 如何选择分裂PPT 第 04 页
信息增益
选那个让信息增益(information gain)最大的特征与阈值来分裂:
$$\text{Gain} = H(\text{parent}) -\sum_{\text{child}} \frac{|D_{\text{child}}|}{|D_{\text{parent}}|}\,H(\text{child})$$
要点即「分裂后不确定性下降了多少」。下降越多,说明这个分法越有效。
§5.3 停止与剪枝PPT 第 05 页
树会不会一直长下去
如果不加限制,树会一直分裂到每个叶子只剩一个样本——严重过拟合。
| 手段 | 做法 |
|---|
| 限制深度 | max_depth:最多分几层 |
| 限制叶子样本数 | min_samples_leaf:叶子至少几个样本 |
| 剪枝 | 先长成大树,再砍掉不重要的分支 |
注意这些限制都是超参数,控制「树的复杂度」,正是过拟合与欠拟合的旋钮。
§5.4 决策树的优缺点PPT 第 06 页
优点与局限
优点
① 可解释、可视化直观;② 无需特征缩放;③ 能自动处理非线性与特征交互
局限
① 容易过拟合;② 对数据扰动敏感(换一点数据树结构大变);③ 单棵树精度有限
说明前两个局限正好催生了集成学习:用「多棵树 + 投票/平均」来降低方差、提升稳定性。
§5.5 集成学习PPT 第 07 页
众人拾柴:集成的思想
单个模型可能又弱又不稳,但多个模型组合往往更强、更稳。
| 方式 | 怎么做 | 代表 |
|---|
| Bagging | 并行训练多个模型,投票/平均 | 随机森林 |
| Boosting | 串行训练,后一个弥补前一个的错误 | GBDT、XGBoost |
要点集成的核心直觉:三个臭皮匠,顶个诸葛亮——只要每个模型「好一点点」且「各有不同」,平均就能显著提升。
§5.6 随机森林PPT 第 08 页
随机森林 Random Forest
Bagging + 决策树 + 双重随机。
- 1自助采样
从训练集有放回地抽多个子集(bootstrap),每个子集训一棵树
- 2随机选特征
每次分裂只在随机抽出的部分特征里选,而非全部
- 3投票
所有树投票决定最终分类(回归取平均)
要点「随机」二字:样本随机 + 特征随机,保证各棵树差异大,平均后方差显著下降。
§5.6 随机森林PPT 第 09 页
随机森林实战
random_forest.pyPython
from sklearn.ensemble import RandomForestClassifier
rf = RandomForestClassifier(n_estimators=100,
max_depth=None, random_state=0)
rf.fit(X_train, y_train)
print('acc =', rf.score(X_test, y_test))
# 特征重要性:哪个特征最管用
importances = rf.feature_importances_说明n_estimators 是树的数量,通常越多越好但边际递减,100 是常见起点。
课堂代码片段:可能承接前页变量。第一次上机请从完整实验开始,先运行数据准备,再运行训练与评估。
§5.6 随机森林PPT 第 10 页
特征重要性
随机森林能给出每个特征在模型分裂中的相对重要性,可作探索线索,但不等于因果贡献;相关特征和特征取值数量都可能影响它。
feature_importance.pyPython
import numpy as np
order = np.argsort(importances)[::-1] # 从大到小
for i in order:
print(f'feature {i}: {importances[i]:.3f}')要点在分类问题里,特征重要性常能揭示「哪个特征最关键」——比如判断西瓜时,可能发现根蒂和纹理远比触感重要,这是「用机器学习反哺领域理解」的桥梁。
课堂代码片段:可能承接前页变量。第一次上机请从完整实验开始,先运行数据准备,再运行训练与评估。
§5.7 提升法 BoostingPPT 第 11 页
Boosting:一步步纠错
与 Bagging 的「并行投票」不同,Boosting 是串行的:后一个模型重点学前一个模型犯的错。
- 1训第一个弱模型
通常是一棵很浅的树
- 2看残差
计算它对哪些样本预测得差
- 3训下一个
让新模型去拟合「残差」,弥补前一个的短板
- 4叠加
把一串弱模型按权重加起来,成为强模型
说明直觉:像接力赛,每个人补前一个人没做好的部分。
§5.7 提升法 BoostingPPT 第 12 页
梯度提升 GBDT
先用一句话理解:梯度指出局部上升最快的方向;沿反方向走一小步,希望降低损失。
GBDT = Gradient Boosting Decision Tree:每一步用一棵新树去拟合当前模型的负梯度(残差)。
$$F_{m}(x) = F_{m-1}(x) + \eta \cdot h_m(x)$$
| 符号 | 含义 |
|---|
| $F_m$ | 第 $m$ 步的集成模型 |
| $h_m$ | 第 $m$ 棵新树(拟合残差) |
| $\eta$ | 学习率,控制每步走多远(防过拟合) |
要点GBDT 在表格数据上长期霸榜,是「结构化数据王者」之一。
§5.7 提升法 BoostingPPT 第 13 页
XGBoost:工程化的 GBDT
拓展阅读 · 第一遍可先看结论,再回到必学主线。
更快
对训练做了大量工程优化(并行、缓存、稀疏感知)
xgboost.pyPython
from xgboost import XGBClassifier
xgb = XGBClassifier(n_estimators=200,
learning_rate=0.1,
max_depth=5, random_state=0)
xgb.fit(X_train, y_train)说明三大超参数:树数量 n_estimators、学习率 learning_rate、树深 max_depth。
课堂代码片段:可能承接前页变量。第一次上机请从完整实验开始,先运行数据准备,再运行训练与评估。
§5.8 对比总结PPT 第 14 页
单树 vs 森林 vs 提升
| 方法 | 思路 | 特点 |
|---|
| 决策树 | 一棵树 | 可解释,易过拟合 |
| 随机森林 | Bagging 并行 | 降方差,稳,可并行 |
| GBDT/XGBoost | Boosting 串行 | 降偏差,精度高,不可并行 |
要点经验:表格数据先试 XGBoost / 随机森林,往往比单个模型好一截,且几乎不用特征缩放。
§5.9 小结PPT 第 15 页
小结
- 1决策树
一串是/否判断,可解释但易过拟合
- 2分裂
基尼/信息熵,选信息增益最大的特征
- 3随机森林
Bagging:并行多树 + 双重随机,降方差
- 4GBDT/XGBoost
Boosting:串行拟合残差,降偏差
- 5特征重要性
从数据里反哺「什么因素最关键」
§5.10 思考PPT 第 16 页
思考题
Q1随机森林里「随机」指的是?
A。bootstrap 样本抽样 + 每次分裂随机选特征。
Q2Bagging 和 Boosting 的本质区别?
- Bagging 并行降方差,Boosting 串行降偏差
- 两者完全一样
- Boosting 更快
A。Bagging 并行投票,Boosting 串行纠错。
学习路线与实践PPT 第 20 页
动手任务:交出结果,也交出解释
把树的最大深度设为 2、5、无限,比较训练误差与验证误差。最终测试只在选定设置后使用。
提交:一张图或一张结果表 + 150 字解释 + 一个局限。
自查:数据如何划分?比简单猜测好多少?能否推广到新样品?
打开实验与结课项目指南