先带着一个问题来学对应幻灯片 PPT 第 17 页
一棵树怎样判断,多棵树为什么可能更稳?
决策树像逐步问问题:“温度高吗?”“粒径小吗?”每次把数据分成更相近的两堆。森林让许多不同的树一起给答案。
学完能做到
读懂一棵浅树;比较单树与森林;区分预测重要性和物理因果。
第一遍不必深究:信息增益推导、GBDT 梯度细节和 XGBoost 参数。
先算一个小例子对应幻灯片 PPT 第 18 页
四个样品标签为好、好、坏、坏,混在一起不好判断。某个条件把它们分成“好、好”和“坏、坏”,这一问就很有用。
把方法带回材料与物理对应幻灯片 PPT 第 19 页
回到实验 A,在完全相同的训练和测试划分上比较直线与森林。让模型竞赛公平,不能为某个模型另挑更容易的测试集。
像「二十个问题」一样分类对应幻灯片 PPT 第 1 页
决策树通过一连串「是 / 否」的判断,把样本一层层分到叶子上。判断一只西瓜:
- 1从根节点出发对整个西瓜集提一个最能区分的问题:纹理是否清晰?
- 2逐层分裂纹理清晰 → 再看根蒂;纹理模糊 → 再看敲声…
- 3到叶节点叶子上多数样本的类别(好瓜 / 坏瓜),就是预测结果
什么样的分裂是「好」的对应幻灯片 PPT 第 2 页
理想的分裂,应该让每个子节点里的样本类别越纯越好。
基尼不纯度与信息熵对应幻灯片 PPT 第 3 页
先用一句话理解:一堆样品的类别越混杂,越难猜。树希望分开后每堆更纯。
分裂的增益 = 分裂前的不纯度(或熵)− 分裂后各子节点对应指标的加权和。
信息增益对应幻灯片 PPT 第 4 页
选那个让信息增益(information gain)最大的特征与阈值来分裂:
树会不会一直长下去对应幻灯片 PPT 第 5 页
如果不加限制,树会一直分裂到每个叶子只剩一个样本——严重过拟合。
| 手段 | 做法 |
|---|---|
| 限制深度 | max_depth:最多分几层 |
| 限制叶子样本数 | min_samples_leaf:叶子至少几个样本 |
| 剪枝 | 先长成大树,再砍掉不重要的分支 |
优点与局限对应幻灯片 PPT 第 6 页
众人拾柴:集成的思想对应幻灯片 PPT 第 7 页
单个模型可能又弱又不稳,但多个模型组合往往更强、更稳。
| 方式 | 怎么做 | 代表 |
|---|---|---|
| Bagging | 并行训练多个模型,投票/平均 | 随机森林 |
| Boosting | 串行训练,后一个弥补前一个的错误 | GBDT、XGBoost |
随机森林 Random Forest对应幻灯片 PPT 第 8 页
Bagging + 决策树 + 双重随机。
- 1自助采样从训练集有放回地抽多个子集(bootstrap),每个子集训一棵树
- 2随机选特征每次分裂只在随机抽出的部分特征里选,而非全部
- 3投票所有树投票决定最终分类(回归取平均)
随机森林实战对应幻灯片 PPT 第 9 页
from sklearn.ensemble import RandomForestClassifier
rf = RandomForestClassifier(n_estimators=100,
max_depth=None, random_state=0)
rf.fit(X_train, y_train)
print('acc =', rf.score(X_test, y_test))
# 特征重要性:哪个特征最管用
importances = rf.feature_importances_n_estimators 是树的数量,通常越多越好但边际递减,100 是常见起点。课堂代码片段:可能承接前页变量。第一次上机请从完整实验开始,先运行数据准备,再运行训练与评估。
特征重要性对应幻灯片 PPT 第 10 页
随机森林能给出每个特征在模型分裂中的相对重要性,可作探索线索,但不等于因果贡献;相关特征和特征取值数量都可能影响它。
import numpy as np
order = np.argsort(importances)[::-1] # 从大到小
for i in order:
print(f'feature {i}: {importances[i]:.3f}')课堂代码片段:可能承接前页变量。第一次上机请从完整实验开始,先运行数据准备,再运行训练与评估。
Boosting:一步步纠错对应幻灯片 PPT 第 11 页
与 Bagging 的「并行投票」不同,Boosting 是串行的:后一个模型重点学前一个模型犯的错。
- 1训第一个弱模型通常是一棵很浅的树
- 2看残差计算它对哪些样本预测得差
- 3训下一个让新模型去拟合「残差」,弥补前一个的短板
- 4叠加把一串弱模型按权重加起来,成为强模型
梯度提升 GBDT对应幻灯片 PPT 第 12 页
先用一句话理解:梯度指出局部上升最快的方向;沿反方向走一小步,希望降低损失。
GBDT = Gradient Boosting Decision Tree:每一步用一棵新树去拟合当前模型的负梯度(残差)。
| 符号 | 含义 |
|---|---|
| $F_m$ | 第 $m$ 步的集成模型 |
| $h_m$ | 第 $m$ 棵新树(拟合残差) |
| $\eta$ | 学习率,控制每步走多远(防过拟合) |
XGBoost:工程化的 GBDT对应幻灯片 PPT 第 13 页
拓展阅读 · 第一遍可先看结论,再回到必学主线。
from xgboost import XGBClassifier
xgb = XGBClassifier(n_estimators=200,
learning_rate=0.1,
max_depth=5, random_state=0)
xgb.fit(X_train, y_train)n_estimators、学习率 learning_rate、树深 max_depth。课堂代码片段:可能承接前页变量。第一次上机请从完整实验开始,先运行数据准备,再运行训练与评估。
单树 vs 森林 vs 提升对应幻灯片 PPT 第 14 页
| 方法 | 思路 | 特点 |
|---|---|---|
| 决策树 | 一棵树 | 可解释,易过拟合 |
| 随机森林 | Bagging 并行 | 降方差,稳,可并行 |
| GBDT/XGBoost | Boosting 串行 | 降偏差,精度高,不可并行 |
小结对应幻灯片 PPT 第 15 页
- 1决策树一串是/否判断,可解释但易过拟合
- 2分裂基尼/信息熵,选信息增益最大的特征
- 3随机森林Bagging:并行多树 + 双重随机,降方差
- 4GBDT/XGBoostBoosting:串行拟合残差,降偏差
- 5特征重要性从数据里反哺「什么因素最关键」
思考题对应幻灯片 PPT 第 16 页
随机森林里「随机」指的是?
- 样本随机 + 特征随机
- 结果随机
- 训练速度随机
Bagging 和 Boosting 的本质区别?
- Bagging 并行降方差,Boosting 串行降偏差
- 两者完全一样
- Boosting 更快
动手任务:交出结果,也交出解释对应幻灯片 PPT 第 20 页
把树的最大深度设为 2、5、无限,比较训练误差与验证误差。最终测试只在选定设置后使用。
提交:一张图或一张结果表 + 150 字解释 + 一个局限。
自查:数据如何划分?比简单猜测好多少?能否推广到新样品?
课后慢读:从会说到会做
第一步:合上公式,解释问题
先回答“一棵树怎样判断,多棵树为什么可能更稳?”。决策树像逐步问问题:“温度高吗?”“粒径小吗?”每次把数据分成更相近的两堆。森林让许多不同的树一起给答案。 这个比喻只是帮助入门,模型最终仍要接受独立数据的检验。
第二步:拿小例子核对
四个样品标签为好、好、坏、坏,混在一起不好判断。某个条件把它们分成“好、好”和“坏、坏”,这一问就很有用。 请写下中间步骤;不能只抄结论。若换一组数据,你的解释是否仍成立?
第三步:联系专业场景
回到实验 A,在完全相同的训练和测试划分上比较直线与森林。让模型竞赛公平,不能为某个模型另挑更容易的测试集。
第四步:提交一个可以检查的结果
把树的最大深度设为 2、5、无限,比较训练误差与验证误差。最终测试只在选定设置后使用。
参考判断与常见误区
越深越容易记住训练样本。重要性高表示模型使用了这个特征,不表示改变它一定会改变材料性质。
报告中分别写“我观察到什么”和“我推测为什么”。观察由图表支持;推测需要进一步实验。分数较低也可以是一份好报告,前提是数据划分合理、分析诚实。
基础达标:读懂一棵浅树;比较单树与森林;区分预测重要性和物理因果。进阶再读:信息增益推导、GBDT 梯度细节和 XGBoost 参数。
附:PPT 页码对照表
| 页 | 内容 | 放映版深链 |
|---|---|---|
| 17 | 先带着一个问题来学 | 第 17 页 |
| 18 | 先算一个小例子 | 第 18 页 |
| 19 | 把方法带回材料与物理 | 第 19 页 |
| 01 | 像「二十个问题」一样分类 | 第 1 页 |
| 02 | 什么样的分裂是「好」的 | 第 2 页 |
| 03 | 基尼不纯度与信息熵 | 第 3 页 |
| 04 | 信息增益 | 第 4 页 |
| 05 | 树会不会一直长下去 | 第 5 页 |
| 06 | 优点与局限 | 第 6 页 |
| 07 | 众人拾柴:集成的思想 | 第 7 页 |
| 08 | 随机森林 Random Forest | 第 8 页 |
| 09 | 随机森林实战 | 第 9 页 |
| 10 | 特征重要性 | 第 10 页 |
| 11 | Boosting:一步步纠错 | 第 11 页 |
| 12 | 梯度提升 GBDT | 第 12 页 |
| 13 | XGBoost:工程化的 GBDT | 第 13 页 |
| 14 | 单树 vs 森林 vs 提升 | 第 14 页 |
| 15 | 小结 | 第 15 页 |
| 16 | 思考题 | 第 16 页 |
| 20 | 动手任务:交出结果,也交出解释 | 第 20 页 |