机器学习 第一章
🧠 机器学习 第一章
一、什么是机器学习 (Machine Learning)
让计算机自己从数据中学习出规律，无需人手写规则
- 输入: 特征 x
- 输出: 标签 y
- 学习目标: 学习出 f(x) 等价于 y
二、三大类型任务
| 类型 | 英文 | 特点 | 示例 |
|---|---|---|---|
| 回归 | Regression | 输出是连续值 | 房价预测 |
| 分类 | Classification | 输出是类别标签 | 图像识别 |
| 结构化学习 | Structured Prediction | 输出是结构 | 机器翻译、NER |
三、模型核心公式
y = w x + b y = wx + b y=wx+b
| 符号 | 意义 |
|---|---|
| x | 输入特征 |
| w | 权重 |
| b | 偏置 |
| y | 预测值 |
四、Loss （损失函数）
用来衡量预测和真实值有多大差距
🔹 常用衡量：MSE (均方误)
L o s s = 1 n ∑ ( y i − y ^ i ) 2 Loss = \frac{1}{n} \sum (y_i - \hat{y}_i)^2 Loss=n1∑(yi−y^i)2
- 输出越出误越小，Loss 越小
五、模型训练：梯度下降
🔹 目标：寻找 w、b 使 loss 最小
w = w − η ⋅ ∂ L ∂ w b = b − η ⋅ ∂ L ∂ b w = w - \eta \cdot \frac{\partial L}{\partial w} \ b = b - \eta \cdot \frac{\partial L}{\partial b} w=w−η⋅∂w∂L b=b−η⋅∂b∂L
- 通过每次计算方向（导数）进行更新
- 就是一步步往 Loss 地形最低点跑
六、向量化计算：NumPy 操作
x是数组，包含所有样本w * x + b是一群预测值y_pred - y：一群误差np.mean()就是对误差平方求均
七、神经网络公式构建
y = b + ∑ i c i ⋅ s i g m o i d ( b i + ∑ j w i j x j ) y = b + \sum_i c_i \cdot sigmoid(b_i + \sum_j w_{ij}x_j) y=b+i∑ci⋅sigmoid(bi+j∑wijxj)
- 输入 x_j 经 w 和 b_i 进入 hidden layer
- hidden 经 sigmoid 转换
- hidden 和 c_i 相乘合并进入输出 y
八、激活函数 Activation Function
🔹 给神经元带来非线性能力，让网络可以拟合复杂函数
| 名称 | 特性 | 应用 |
|---|---|---|
| Sigmoid | S型，输出 0~1 | 合适二分类、概率输出 |
| ReLU | 负值滤掉，保留正值 | 现代深度网络主流 |