LECTURE 01
绪论:机器学习是什么
What is Machine Learning
第 1 讲 · 三大范式 · 数据 / 特征 / 标签 · 环境搭建
学习路线与实践PPT 第 15 页
先带着一个问题来学
机器怎样从例子中学会判断?
像学认水果:先看许多带答案的例子,再判断没见过的水果。模型学到的是数据里的规律,不是常识大全。
学完能做到
分清样本、特征和标签;判断一个问题是回归还是分类;运行环境自检。
第一遍不必深究:强化学习的算法细节。
学习路线与实践PPT 第 16 页
先算一个小例子
三个样品的温度是 20、30、40 ℃,测得响应为 2、3、4。猜测规则是“响应约等于温度除以 10”。新样品 35 ℃ 预测为 3.5;要用新的实测值检验。
带答案的旧样品→训练:寻找规律→没见过的新样品→用实测检验预测按箭头读一遍,再用自己的话解释。你来解释:把这个例子用自己的话讲给同桌,指出输入、输出和需要检验的地方。
学习路线与实践PPT 第 17 页
把方法带回材料与物理
把一行数据看成一个样品:制备温度、成分是输入,测得的性质是目标。预测前拿不到的测量结果不能作为输入。
本讲要防的误解:若把目标本身或事后测量写进特征,即使分数很高也没有预测价值。
§1.1 从规则到学习PPT 第 01 页
从「手工规则」到「从数据中学」
传统程序设计,是人把每一步规则都写清楚,计算机照做:
机器学习
输入数据 + 已知答案 → 自动学出规则 → 输出结果
要点核心转变:不是「告诉机器怎么做」,而是「给机器例子,让机器自己找到怎么做」。
Arthur Samuel (1959):机器学习是让计算机无需显式编程即可学习的能力。
§1.1 从规则到学习PPT 第 02 页
为什么现在才火起来
数据(Data)
互联网、传感器、实验仪器产生海量数据,是学习的「燃料」。
算力(Compute)
GPU 和计算集群让更大规模的模型训练成为可能;耗时取决于模型、数据与设备。
算法(Algorithm)
深度学习的突破让复杂函数可被高效拟合。
说明三者缺一不可:没有数据学不到东西,没有算力学不动,没有算法学不好。
§1.2 三大范式PPT 第 03 页
机器学习的三大范式
| 范式 | 有无标签 | 典型任务 | 例子 |
|---|
| 监督学习 | 有(输入+正确答案) | 分类、回归 | 判断西瓜好坏、垃圾邮件识别 |
| 无监督学习 | 无(只有输入) | 聚类、降维 | 把一堆瓜自动分成几类 |
| 强化学习 | 奖励信号 | 序列决策 | 下棋、机器人控制 |
注意本课程前 6 讲专注监督学习,第 7 讲进入无监督,强化学习仅作概念了解。
§1.2 三大范式PPT 第 04 页
监督学习的两大任务
回归(Regression)
预测连续数值。
例:由色泽、敲声预测西瓜的含糖量。
分类(Classification)
预测离散类别。
例:判断一个西瓜是好瓜还是坏瓜。
$$\text{回归:}\ \hat y \in \mathbb{R}\qquad\qquad\text{分类:}\ \hat y \in \{c_1, c_2, \dots, c_K\}$$
§1.3 统一语言PPT 第 05 页
机器学习的基本元素
| 符号 | 名称 | 含义 |
|---|
| $\mathbf{x}$ | 样本 / 特征向量 | 一个西瓜的描述,如 (色泽=青绿, 根蒂=蜷缩, 敲声=浊响, …) |
| $y$ | 标签(label) | 我们想要预测的目标(如「好瓜 / 坏瓜」) |
| $x_j$ | 特征(feature) | $\mathbf{x}$ 的第 $j$ 个分量,如「敲声」 |
| $\hat y$ | 预测值 | 模型给出的输出 |
| $f$ | 模型 / 假设 | 从 $\mathbf{x}$ 到 $\hat y$ 的映射 $\hat y = f(\mathbf{x})$ |
说明记法约定:粗体 $\mathbf{x}$ 表示向量,标量用斜体 $x$;数据集用大写 $X$(矩阵)、$y$(向量)。
§1.3 统一语言PPT 第 06 页
一条贯穿全课的实例:判断西瓜好坏
给定一个西瓜的外观特征(色泽、根蒂、敲声、纹理、触感…),判断它是不是好瓜。
| 特征 | 取值(离散化) | 含义 |
|---|
| 色泽 | 青绿 / 乌黑 / 浅白 | 瓜皮颜色 |
| 根蒂 | 蜷缩 / 稍蜷 / 硬挺 | 瓜蒂的形态 |
| 敲声 | 浊响 / 沉闷 / 清脆 | 敲击时的声音 |
| 纹理 | 清晰 / 稍糊 / 模糊 | 瓜面纹路 |
| 触感 | 硬滑 / 软粘 | 手摸的感觉 |
| 标签 $y$ | 好瓜 / 坏瓜 | 我们想预测的目标 |
要点这就是著名的「西瓜书」例子(周志华《机器学习》)。本课程后面每一讲都会回到这只西瓜,逐步加深。
§1.4 一个完整的流程PPT 第 07 页
机器学习流水线
数据 → 特征 → 模型 → 训练 → 评估 → 预测
特征工程
把色泽、敲声等变成模型能吃的 $\mathbf{x}$
说明记住这句经验之谈:Garbage in, garbage out——数据质量、任务定义和评估方式都影响结果,调参无法补救错误的标签与数据划分。
§1.4 一个完整的流程PPT 第 08 页
过拟合:机器学习的第一道坎
模型在训练集上表现完美,却在测试集上翻车,这就是过拟合(overfitting)。
欠拟合
模型太简单,训练集与测试集都学不好(高偏差)。
过拟合
模型死记训练数据,测试集表现反而下降(高方差)。
注意整门课会反复回到「如何选对复杂度」这个问题:正则化(第 2 讲)、交叉验证(第 4 讲)、集成(第 5 讲)都是为此服务的。
§1.5 工具链PPT 第 09 页
本课程的工具链
| 工具 | 用途 | 说明 |
|---|
| Python | 主力语言 | 生态最完整的科学计算语言 |
| NumPy | 数值计算 | 高效的多维数组运算 |
| scikit-learn | 经典机器学习 | 回归、分类、聚类、降维一站式 |
| Matplotlib | 可视化 | 画数据、画损失曲线 |
| PyTorch | 深度学习 | 第 8、9 讲搭神经网络用 |
说明所有算例都可以在本机跑通(数据量很小),不必依赖 GPU 或集群。
§1.5 工具链PPT 第 10 页
最小可运行示例:环境自检
hello_ml.pyPython
# -*- coding: utf-8 -*-
import numpy as np
import sklearn
import matplotlib
print('NumPy ', np.__version__)
print('scikit-learn', sklearn.__version__)
print('Matplotlib', matplotlib.__version__)
# 一条线性数据:y = 2x + 1
x = np.array([1, 2, 3, 4, 5])
y = 2 * x + 1
print('样本:', list(zip(x, y)))要点四个库都能正常打印版本号,说明环境就绪。
课堂代码片段:可能承接前页变量。第一次上机请从完整实验开始,先运行数据准备,再运行训练与评估。
§1.6 数学准备PPT 第 11 页
会用到的数学(都很轻量)
| 概念 | 在哪一讲用 | 要点 |
|---|
| 向量与内积 | 全课程 | $\mathbf{w}\cdot\mathbf{x}=\sum_j w_j x_j$ |
| 求导 / 梯度 | 第 2、8 讲 | 损失函数对参数求导找下降方向 |
| 概率基础 | 第 3、6 讲 | 条件概率、贝叶斯公式 |
| 矩阵 | 第 7 讲 | PCA 要用特征值分解 |
| 链式法则 | 第 8 讲 | 反向传播的本质 |
说明本课程数学从简:重点是建立直觉,推导只求「看得懂」,不追求严谨。
§1.7 课程地图PPT 第 12 页
十讲内容总览
| 讲次 | 主题 | 问题 |
|---|
| 01 | 绪论 | 机器学习是什么 |
| 02 | 线性回归 | 最简单的预测怎么做 |
| 03 | 逻辑回归与分类 | 怎么判定类别 |
| 04 | 模型评估与调参 | 怎么知道模型好不好 |
| 05 | 决策树与集成 | 多个弱模型如何变强 |
| 06 | KNN 与朴素贝叶斯 | 距离与概率的分类法 |
| 07 | 无监督学习与降维 | 没有标签怎么办 |
| 08 | 神经网络基础 | 深度学习的门槛 |
| 09 | 深度学习与 PyTorch | 动手搭网络 |
| 10 | 专题与前沿 | 机器学习遇上材料与分子 |
§1.7 课程地图PPT 第 13 页
本讲的三个关键词
范式
监督 / 无监督 / 强化,先分清问题属于哪一类
流程
数据 → 特征 → 模型 → 训练 → 评估,一条流水线
一句话$\hat y = f(\mathbf{x})$
机器学习就是「从数据里学出一个函数 $f$」,让它对没见过的输入也能给出靠谱的输出。
§1.8 小结PPT 第 14 页
小结
- 1范式
监督(有标签)与无监督(无标签)是两大主流
- 2元素
$\mathbf{x}$(特征)、$y$(标签)、$f$(模型)、$\hat y$(预测)
- 3流程
数据、特征、模型、训练、评估五步走
- 4过拟合
训练好 ≠ 真的好,泛化能力才是目标
- 5工具
Python + NumPy + scikit-learn 打底,PyTorch 进阶
学习路线与实践PPT 第 18 页
动手任务:交出结果,也交出解释
选一个本专业问题,写出一行示例数据,并说明预测时哪些列已经知道。
提交:一张图或一张结果表 + 150 字解释 + 一个局限。
自查:数据如何划分?比简单猜测好多少?能否推广到新样品?
打开实验与结课项目指南