课程中心/机器学习导论/第 05 讲 阅读资料

决策树与集成学习

第 05 讲 · 阅读资料 | 对应幻灯片 slide_05.html(共 20 页正文)
决策树随机森林GBDT/XGBoost

先带着一个问题来学对应幻灯片 PPT 第 17 页

一棵树怎样判断,多棵树为什么可能更稳?

决策树像逐步问问题:“温度高吗?”“粒径小吗?”每次把数据分成更相近的两堆。森林让许多不同的树一起给答案。

学完能做到

读懂一棵浅树;比较单树与森林;区分预测重要性和物理因果。

第一遍不必深究:信息增益推导、GBDT 梯度细节和 XGBoost 参数。

先算一个小例子对应幻灯片 PPT 第 18 页

四个样品标签为好、好、坏、坏,混在一起不好判断。某个条件把它们分成“好、好”和“坏、坏”,这一问就很有用。

温度是否较高?是:再看粒径否:再看成分走到叶子给出预测
按箭头读一遍,再用自己的话解释。
你来解释:把这个例子用自己的话讲给同桌,指出输入、输出和需要检验的地方。

把方法带回材料与物理对应幻灯片 PPT 第 19 页

回到实验 A,在完全相同的训练和测试划分上比较直线与森林。让模型竞赛公平,不能为某个模型另挑更容易的测试集。

本讲要防的误解:越深越容易记住训练样本。重要性高表示模型使用了这个特征,不表示改变它一定会改变材料性质。

像「二十个问题」一样分类对应幻灯片 PPT 第 1 页

决策树通过一连串「是 / 否」的判断,把样本一层层分到叶子上。判断一只西瓜:

  1. 1从根节点出发
    对整个西瓜集提一个最能区分的问题:纹理是否清晰?
  2. 2逐层分裂
    纹理清晰 → 再看根蒂;纹理模糊 → 再看敲声…
  3. 3到叶节点
    叶子上多数样本的类别(好瓜 / 坏瓜),就是预测结果
要点好处:可解释——预测路径就是一条规则链,人能看懂「为什么这么判」。

什么样的分裂是「好」的对应幻灯片 PPT 第 2 页

理想的分裂,应该让每个子节点里的样本类别越纯越好。

纯度高
一个节点里几乎全是同一类 → 不用再分
纯度低
各类混杂 → 需要继续分裂
说明衡量「纯 / 不纯」有两个常用指标:基尼不纯度(Gini)与信息熵(entropy)。

基尼不纯度与信息熵对应幻灯片 PPT 第 3 页

先用一句话理解:一堆样品的类别越混杂,越难猜。树希望分开后每堆更纯。

基尼不纯度 Gini
$$G = 1 - \sum_{k=1}^{K} p_k^2$$
信息熵 Entropy
$$H = -\sum_{k=1}^{K} p_k \log_2 p_k$$
说明两者都在「类别均匀混杂」时取最大、在「单一类别」时取 0。其中 $p_k$ 是第 $k$ 类样本的比例,$K$ 是类别数;约定 $0\log_2 0=0$。
分裂的增益 = 分裂前的不纯度(或熵)− 分裂后各子节点对应指标的加权和。

信息增益对应幻灯片 PPT 第 4 页

选那个让信息增益(information gain)最大的特征与阈值来分裂:

$$\text{Gain} = H(\text{parent}) -\sum_{\text{child}} \frac{|D_{\text{child}}|}{|D_{\text{parent}}|}\,H(\text{child})$$
要点即「分裂后不确定性下降了多少」。下降越多,说明这个分法越有效。

树会不会一直长下去对应幻灯片 PPT 第 5 页

如果不加限制,树会一直分裂到每个叶子只剩一个样本——严重过拟合。

手段做法
限制深度max_depth:最多分几层
限制叶子样本数min_samples_leaf:叶子至少几个样本
剪枝先长成大树,再砍掉不重要的分支
注意这些限制都是超参数,控制「树的复杂度」,正是过拟合与欠拟合的旋钮。

优点与局限对应幻灯片 PPT 第 6 页

优点
① 可解释、可视化直观;② 无需特征缩放;③ 能自动处理非线性与特征交互
局限
① 容易过拟合;② 对数据扰动敏感(换一点数据树结构大变);③ 单棵树精度有限
说明前两个局限正好催生了集成学习:用「多棵树 + 投票/平均」来降低方差、提升稳定性。

众人拾柴:集成的思想对应幻灯片 PPT 第 7 页

单个模型可能又弱又不稳,但多个模型组合往往更强、更稳。

方式怎么做代表
Bagging并行训练多个模型,投票/平均随机森林
Boosting串行训练,后一个弥补前一个的错误GBDT、XGBoost
要点集成的核心直觉:三个臭皮匠,顶个诸葛亮——只要每个模型「好一点点」且「各有不同」,平均就能显著提升。

随机森林 Random Forest对应幻灯片 PPT 第 8 页

Bagging + 决策树 + 双重随机。

  1. 1自助采样
    从训练集有放回地抽多个子集(bootstrap),每个子集训一棵树
  2. 2随机选特征
    每次分裂只在随机抽出的部分特征里选,而非全部
  3. 3投票
    所有树投票决定最终分类(回归取平均)
要点「随机」二字:样本随机 + 特征随机,保证各棵树差异大,平均后方差显著下降。

随机森林实战对应幻灯片 PPT 第 9 页

random_forest.pyPython
from sklearn.ensemble import RandomForestClassifier

rf = RandomForestClassifier(n_estimators=100,
                            max_depth=None, random_state=0)
rf.fit(X_train, y_train)
print('acc =', rf.score(X_test, y_test))

# 特征重要性:哪个特征最管用
importances = rf.feature_importances_
说明n_estimators 是树的数量,通常越多越好但边际递减,100 是常见起点。

课堂代码片段:可能承接前页变量。第一次上机请从完整实验开始,先运行数据准备,再运行训练与评估。

特征重要性对应幻灯片 PPT 第 10 页

随机森林能给出每个特征在模型分裂中的相对重要性,可作探索线索,但不等于因果贡献;相关特征和特征取值数量都可能影响它。

feature_importance.pyPython
import numpy as np
order = np.argsort(importances)[::-1]  # 从大到小
for i in order:
    print(f'feature {i}: {importances[i]:.3f}')
要点在分类问题里,特征重要性常能揭示「哪个特征最关键」——比如判断西瓜时,可能发现根蒂和纹理远比触感重要,这是「用机器学习反哺领域理解」的桥梁。

课堂代码片段:可能承接前页变量。第一次上机请从完整实验开始,先运行数据准备,再运行训练与评估。

Boosting:一步步纠错对应幻灯片 PPT 第 11 页

与 Bagging 的「并行投票」不同,Boosting 是串行的:后一个模型重点学前一个模型犯的错。

  1. 1训第一个弱模型
    通常是一棵很浅的树
  2. 2看残差
    计算它对哪些样本预测得差
  3. 3训下一个
    让新模型去拟合「残差」,弥补前一个的短板
  4. 4叠加
    把一串弱模型按权重加起来,成为强模型
说明直觉:像接力赛,每个人补前一个人没做好的部分。

梯度提升 GBDT对应幻灯片 PPT 第 12 页

先用一句话理解:梯度指出局部上升最快的方向;沿反方向走一小步,希望降低损失。

GBDT = Gradient Boosting Decision Tree:每一步用一棵新树去拟合当前模型的负梯度(残差)。

$$F_{m}(x) = F_{m-1}(x) + \eta \cdot h_m(x)$$
符号含义
$F_m$第 $m$ 步的集成模型
$h_m$第 $m$ 棵新树(拟合残差)
$\eta$学习率,控制每步走多远(防过拟合)
要点GBDT 在表格数据上长期霸榜,是「结构化数据王者」之一。

XGBoost:工程化的 GBDT对应幻灯片 PPT 第 13 页

拓展阅读 · 第一遍可先看结论,再回到必学主线。

更快
对训练做了大量工程优化(并行、缓存、稀疏感知)
更稳
内置正则化,抑制过拟合
好用
竞赛与工业界的事实标准
xgboost.pyPython
from xgboost import XGBClassifier

xgb = XGBClassifier(n_estimators=200,
                    learning_rate=0.1,
                    max_depth=5, random_state=0)
xgb.fit(X_train, y_train)
说明三大超参数:树数量 n_estimators、学习率 learning_rate、树深 max_depth。

课堂代码片段:可能承接前页变量。第一次上机请从完整实验开始,先运行数据准备,再运行训练与评估。

单树 vs 森林 vs 提升对应幻灯片 PPT 第 14 页

方法思路特点
决策树一棵树可解释,易过拟合
随机森林Bagging 并行降方差,稳,可并行
GBDT/XGBoostBoosting 串行降偏差,精度高,不可并行
要点经验:表格数据先试 XGBoost / 随机森林,往往比单个模型好一截,且几乎不用特征缩放。

小结对应幻灯片 PPT 第 15 页

  1. 1决策树
    一串是/否判断,可解释但易过拟合
  2. 2分裂
    基尼/信息熵,选信息增益最大的特征
  3. 3随机森林
    Bagging:并行多树 + 双重随机,降方差
  4. 4GBDT/XGBoost
    Boosting:串行拟合残差,降偏差
  5. 5特征重要性
    从数据里反哺「什么因素最关键」

思考题对应幻灯片 PPT 第 16 页

Q1

随机森林里「随机」指的是?

  • 样本随机 + 特征随机
  • 结果随机
  • 训练速度随机
A。bootstrap 样本抽样 + 每次分裂随机选特征。
Q2

Bagging 和 Boosting 的本质区别?

  • Bagging 并行降方差,Boosting 串行降偏差
  • 两者完全一样
  • Boosting 更快
A。Bagging 并行投票,Boosting 串行纠错。

动手任务:交出结果,也交出解释对应幻灯片 PPT 第 20 页

把树的最大深度设为 2、5、无限,比较训练误差与验证误差。最终测试只在选定设置后使用。

提交:一张图或一张结果表 + 150 字解释 + 一个局限。

自查:数据如何划分?比简单猜测好多少?能否推广到新样品?

打开实验与结课项目指南

课后慢读:从会说到会做

第一步:合上公式,解释问题

先回答“一棵树怎样判断,多棵树为什么可能更稳?”。决策树像逐步问问题:“温度高吗?”“粒径小吗?”每次把数据分成更相近的两堆。森林让许多不同的树一起给答案。 这个比喻只是帮助入门,模型最终仍要接受独立数据的检验。

第二步:拿小例子核对

四个样品标签为好、好、坏、坏,混在一起不好判断。某个条件把它们分成“好、好”和“坏、坏”,这一问就很有用。 请写下中间步骤;不能只抄结论。若换一组数据,你的解释是否仍成立?

第三步:联系专业场景

回到实验 A,在完全相同的训练和测试划分上比较直线与森林。让模型竞赛公平,不能为某个模型另挑更容易的测试集。

第四步:提交一个可以检查的结果

把树的最大深度设为 2、5、无限,比较训练误差与验证误差。最终测试只在选定设置后使用。

参考判断与常见误区

越深越容易记住训练样本。重要性高表示模型使用了这个特征,不表示改变它一定会改变材料性质。

报告中分别写“我观察到什么”和“我推测为什么”。观察由图表支持;推测需要进一步实验。分数较低也可以是一份好报告,前提是数据划分合理、分析诚实。

基础达标:读懂一棵浅树;比较单树与森林;区分预测重要性和物理因果。进阶再读:信息增益推导、GBDT 梯度细节和 XGBoost 参数。

完整实验、环境安装、结果解读与报告评分标准

附:PPT 页码对照表

页内容放映版深链
17先带着一个问题来学第 17 页
18先算一个小例子第 18 页
19把方法带回材料与物理第 19 页
01像「二十个问题」一样分类第 1 页
02什么样的分裂是「好」的第 2 页
03基尼不纯度与信息熵第 3 页
04信息增益第 4 页
05树会不会一直长下去第 5 页
06优点与局限第 6 页
07众人拾柴:集成的思想第 7 页
08随机森林 Random Forest第 8 页
09随机森林实战第 9 页
10特征重要性第 10 页
11Boosting:一步步纠错第 11 页
12梯度提升 GBDT第 12 页
13XGBoost:工程化的 GBDT第 13 页
14单树 vs 森林 vs 提升第 14 页
15小结第 15 页
16思考题第 16 页
20动手任务:交出结果,也交出解释第 20 页
100% = 放大 · − 缩小 · 0 复位