机器学习导论
课程中心/ 机器学习导论/ 阅读资料/ 第 1 讲
三大范式 · 数据 / 特征 / 标签 · 环境搭建
LECTURE 01

绪论:机器学习是什么

What is Machine Learning
第 1 讲 · 三大范式 · 数据 / 特征 / 标签 · 环境搭建
学习路线与实践PPT 第 15 页

先带着一个问题来学

机器怎样从例子中学会判断?

像学认水果:先看许多带答案的例子,再判断没见过的水果。模型学到的是数据里的规律,不是常识大全。

学完能做到

分清样本、特征和标签;判断一个问题是回归还是分类;运行环境自检。

第一遍不必深究:强化学习的算法细节。

学习路线与实践PPT 第 16 页

先算一个小例子

三个样品的温度是 20、30、40 ℃,测得响应为 2、3、4。猜测规则是“响应约等于温度除以 10”。新样品 35 ℃ 预测为 3.5;要用新的实测值检验。

带答案的旧样品训练:寻找规律没见过的新样品用实测检验预测
按箭头读一遍,再用自己的话解释。
你来解释:把这个例子用自己的话讲给同桌,指出输入、输出和需要检验的地方。
学习路线与实践PPT 第 17 页

把方法带回材料与物理

把一行数据看成一个样品:制备温度、成分是输入,测得的性质是目标。预测前拿不到的测量结果不能作为输入。

本讲要防的误解:若把目标本身或事后测量写进特征,即使分数很高也没有预测价值。
§1.1 从规则到学习PPT 第 01 页

从「手工规则」到「从数据中学」

传统程序设计,是人把每一步规则都写清楚,计算机照做:

传统编程
输入数据 → 手写规则 → 输出结果
机器学习
输入数据 + 已知答案 → 自动学出规则 → 输出结果
要点核心转变:不是「告诉机器怎么做」,而是「给机器例子,让机器自己找到怎么做」。
Arthur Samuel (1959):机器学习是让计算机无需显式编程即可学习的能力。
§1.1 从规则到学习PPT 第 02 页

为什么现在才火起来

数据(Data)
互联网、传感器、实验仪器产生海量数据,是学习的「燃料」。
算力(Compute)
GPU 和计算集群让更大规模的模型训练成为可能;耗时取决于模型、数据与设备。
算法(Algorithm)
深度学习的突破让复杂函数可被高效拟合。
说明三者缺一不可:没有数据学不到东西,没有算力学不动,没有算法学不好。
§1.2 三大范式PPT 第 03 页

机器学习的三大范式

范式有无标签典型任务例子
监督学习有(输入+正确答案)分类、回归判断西瓜好坏、垃圾邮件识别
无监督学习无(只有输入)聚类、降维把一堆瓜自动分成几类
强化学习奖励信号序列决策下棋、机器人控制
注意本课程前 6 讲专注监督学习,第 7 讲进入无监督,强化学习仅作概念了解。
§1.2 三大范式PPT 第 04 页

监督学习的两大任务

回归(Regression)
预测连续数值。
例:由色泽、敲声预测西瓜的含糖量。
分类(Classification)
预测离散类别。
例:判断一个西瓜是好瓜还是坏瓜。
$$\text{回归:}\ \hat y \in \mathbb{R}\qquad\qquad\text{分类:}\ \hat y \in \{c_1, c_2, \dots, c_K\}$$
§1.3 统一语言PPT 第 05 页

机器学习的基本元素

符号名称含义
$\mathbf{x}$样本 / 特征向量一个西瓜的描述,如 (色泽=青绿, 根蒂=蜷缩, 敲声=浊响, …)
$y$标签(label)我们想要预测的目标(如「好瓜 / 坏瓜」)
$x_j$特征(feature)$\mathbf{x}$ 的第 $j$ 个分量,如「敲声」
$\hat y$预测值模型给出的输出
$f$模型 / 假设从 $\mathbf{x}$ 到 $\hat y$ 的映射 $\hat y = f(\mathbf{x})$
说明记法约定:粗体 $\mathbf{x}$ 表示向量,标量用斜体 $x$;数据集用大写 $X$(矩阵)、$y$(向量)。
§1.3 统一语言PPT 第 06 页

一条贯穿全课的实例:判断西瓜好坏

给定一个西瓜的外观特征(色泽、根蒂、敲声、纹理、触感…),判断它是不是好瓜。

特征取值(离散化)含义
色泽青绿 / 乌黑 / 浅白瓜皮颜色
根蒂蜷缩 / 稍蜷 / 硬挺瓜蒂的形态
敲声浊响 / 沉闷 / 清脆敲击时的声音
纹理清晰 / 稍糊 / 模糊瓜面纹路
触感硬滑 / 软粘手摸的感觉
标签 $y$好瓜 / 坏瓜我们想预测的目标
要点这就是著名的「西瓜书」例子(周志华《机器学习》)。本课程后面每一讲都会回到这只西瓜,逐步加深。
§1.4 一个完整的流程PPT 第 07 页

机器学习流水线

数据 → 特征 → 模型 → 训练 → 评估 → 预测

数据采集
挑一批西瓜,记录特征与「好坏」结论
特征工程
把色泽、敲声等变成模型能吃的 $\mathbf{x}$
模型选择
线性?树?神经网络?看任务与数据规模
训练
优化参数,最小化损失
评估
用留出的西瓜检验泛化能力
说明记住这句经验之谈:Garbage in, garbage out——数据质量、任务定义和评估方式都影响结果,调参无法补救错误的标签与数据划分。
§1.4 一个完整的流程PPT 第 08 页

过拟合:机器学习的第一道坎

模型在训练集上表现完美,却在测试集上翻车,这就是过拟合(overfitting)。

欠拟合
模型太简单,训练集与测试集都学不好(高偏差)。
恰如其分
模型复杂度适中,测试集表现最好。
过拟合
模型死记训练数据,测试集表现反而下降(高方差)。
注意整门课会反复回到「如何选对复杂度」这个问题:正则化(第 2 讲)、交叉验证(第 4 讲)、集成(第 5 讲)都是为此服务的。
§1.5 工具链PPT 第 09 页

本课程的工具链

工具用途说明
Python主力语言生态最完整的科学计算语言
NumPy数值计算高效的多维数组运算
scikit-learn经典机器学习回归、分类、聚类、降维一站式
Matplotlib可视化画数据、画损失曲线
PyTorch深度学习第 8、9 讲搭神经网络用
说明所有算例都可以在本机跑通(数据量很小),不必依赖 GPU 或集群。
§1.5 工具链PPT 第 10 页

最小可运行示例:环境自检

hello_ml.pyPython
# -*- coding: utf-8 -*-
import numpy as np
import sklearn
import matplotlib

print('NumPy     ', np.__version__)
print('scikit-learn', sklearn.__version__)
print('Matplotlib', matplotlib.__version__)

# 一条线性数据:y = 2x + 1
x = np.array([1, 2, 3, 4, 5])
y = 2 * x + 1
print('样本:', list(zip(x, y)))
要点四个库都能正常打印版本号,说明环境就绪。

课堂代码片段:可能承接前页变量。第一次上机请从完整实验开始,先运行数据准备,再运行训练与评估。

§1.6 数学准备PPT 第 11 页

会用到的数学(都很轻量)

概念在哪一讲用要点
向量与内积全课程$\mathbf{w}\cdot\mathbf{x}=\sum_j w_j x_j$
求导 / 梯度第 2、8 讲损失函数对参数求导找下降方向
概率基础第 3、6 讲条件概率、贝叶斯公式
矩阵第 7 讲PCA 要用特征值分解
链式法则第 8 讲反向传播的本质
说明本课程数学从简:重点是建立直觉,推导只求「看得懂」,不追求严谨。
§1.7 课程地图PPT 第 12 页

十讲内容总览

讲次主题问题
01绪论机器学习是什么
02线性回归最简单的预测怎么做
03逻辑回归与分类怎么判定类别
04模型评估与调参怎么知道模型好不好
05决策树与集成多个弱模型如何变强
06KNN 与朴素贝叶斯距离与概率的分类法
07无监督学习与降维没有标签怎么办
08神经网络基础深度学习的门槛
09深度学习与 PyTorch动手搭网络
10专题与前沿机器学习遇上材料与分子
§1.7 课程地图PPT 第 13 页

本讲的三个关键词

范式
监督 / 无监督 / 强化,先分清问题属于哪一类
元素
数据、特征、标签、模型——统一的描述语言
流程
数据 → 特征 → 模型 → 训练 → 评估,一条流水线
一句话
$\hat y = f(\mathbf{x})$
机器学习就是「从数据里学出一个函数 $f$」,让它对没见过的输入也能给出靠谱的输出。
§1.8 小结PPT 第 14 页

小结

  1. 1范式
    监督(有标签)与无监督(无标签)是两大主流
  2. 2元素
    $\mathbf{x}$(特征)、$y$(标签)、$f$(模型)、$\hat y$(预测)
  3. 3流程
    数据、特征、模型、训练、评估五步走
  4. 4过拟合
    训练好 ≠ 真的好,泛化能力才是目标
  5. 5工具
    Python + NumPy + scikit-learn 打底,PyTorch 进阶
学习路线与实践PPT 第 18 页

动手任务:交出结果,也交出解释

选一个本专业问题,写出一行示例数据,并说明预测时哪些列已经知道。

提交:一张图或一张结果表 + 150 字解释 + 一个局限。

自查:数据如何划分?比简单猜测好多少?能否推广到新样品?

打开实验与结课项目指南

1 / 1 100%

幻灯片目录

← → 翻页 空格 下一页 F 全屏 O / Esc 目录 数字键 1-9 快速跳页 字号:= 放大 / − 缩小 / 0 复位