【学习笔记】机器学习(Machine Learning) | 第五章(2)| 分类与逻辑回归
机器学习（Machine Learning）
简要声明
基于吴恩达教授(Andrew Ng)课程视频
BiliBili课程资源
文章目录
- 机器学习（Machine Learning）
- 简要声明
- 二、决策边界
- 决策边界的数学表达
- 线性决策边界示例
- 非线性决策边界
- 非线性决策边界的示例
一、逻辑回归的基本原理
二、决策边界
在逻辑回归中，决策边界是模型用于划分不同类别样本的边界。对于二分类任务，决策边界通常是一个阈值，例如 0.5。当模型输出大于等于 0.5 时，我们预测样本属于正类（1）；当模型输出小于 0.5 时，我们预测样本属于负类（0）。
决策边界的选择对于模型的性能至关重要。在实际应用中，我们可能需要根据具体问题调整决策边界，以平衡精度和召回率。
决策边界的数学表达
决策边界的数学表达式为：
f w → , b ( x → ) ≥ 0.5 f_{\overrightarrow{w}, b}(\overrightarrow{x}) \geq 0.5 fw,b(x)≥0.5
根据 Sigmoid 函数的性质，当且仅当线性组合 z = w → ⋅ x → + b ≥ 0 z = \overrightarrow{w} \cdot \overrightarrow{x} + b \geq 0 z=w⋅x+b≥0 时， g ( z ) ≥ 0.5 g(z) \geq 0.5 g(z)≥0.5。因此，决策边界可以表示为：
w → ⋅ x → + b = 0 \overrightarrow{w} \cdot \overrightarrow{x} + b = 0 w⋅x+b=0
线性决策边界示例
假设我们有一个二维特征空间，其中 x 1 x_1 x1 和 x 2 x_2 x2 是两个特征。决策边界可以表示为：
w 1 x 1 + w 2 x 2 + b = 0 w_1 x_1 + w_2 x_2 + b = 0 w1x1+w2x2+b=0
例如，假设 w 1 = 1 w_1 = 1 w1=1, w 2 = 1 w_2 = 1 w2=1, b = − 3 b = -3 b=−3，则决策边界为：
x 1 + x 2 − 3 = 0 x_1 + x_2 - 3 = 0 x1+x2−3=0
即：
x 1 + x 2 = 3 x_1 + x_2 = 3 x1+x2=3
这个决策边界将特征空间划分为两个区域：当 x 1 + x 2 ≥ 3 x_1 + x_2 \geq 3 x1+x2≥3 时，预测 y ^ = 1 \hat{y} = 1 y^=1；否则预测 y ^ = 0 \hat{y} = 0 y^=0。
非线性决策边界
逻辑回归模型也可以处理非线性决策边界。通过引入多项式特征，我们可以构造更复杂的决策边界。例如：
z = w 1 x 1 2 + w 2 x 2 2 + b z = w_1 x_1^2 + w_2 x_2^2 + b z=w1x12+w2x22+b
决策边界为：
w 1 x 1 2 + w 2 x 2 2 + b = 0 w_1 x_1^2 + w_2 x_2^2 + b = 0 w1x12+w2x22+b=0
例如，假设 w 1 = 1 w_1 = 1 w1=1, w 2 = 1 w_2 = 1 w2=1, b = − 1 b = -1 b=−1，则决策边界为：
x 1 2 + x 2 2 − 1 = 0 x_1^2 + x_2^2 - 1 = 0 x12+x22−1=0
即：
x 1 2 + x 2 2 = 1 x_1^2 + x_2^2 = 1 x12+x22=1
这个决策边界是一个半径为 1 的圆，将特征空间划分为内部和外部两个区域：当 x 1 2 + x 2 2 ≥ 1 x_1^2 + x_2^2 \geq 1 x12+x22≥1 时，预测 y ^ = 1 \hat{y} = 1 y^=1；否则预测 y ^ = 0 \hat{y} = 0 y^=0。
非线性决策边界的示例
考虑一个更复杂的非线性决策边界：
z = w 1 x 1 2 + w 2 x 2 2 + w 3 x 1 3 + w 4 x 1 x 2 + w 5 x 2 3 + b z = w_1 x_1^2 + w_2 x_2^2 + w_3 x_1^3 + w_4 x_1 x_2 + w_5 x_2^3 + b z=w1x12+w2x22+w3x13+w4x1x2+w5x23+b
决策边界为：
w 1 x 1 2 + w 2 x 2 2 + w 3 x 1 3 + w 4 x 1 x 2 + w 5 x 2 3 + b = 0 w_1 x_1^2 + w_2 x_2^2 + w_3 x_1^3 + w_4 x_1 x_2 + w_5 x_2^3 + b = 0 w1x12+w2x22+w3x13+w4x1x2+w5x23+b=0
这个决策边界可以是椭圆、圆形或其他复杂的形状，具体取决于参数的选择。
决策边界是逻辑回归模型用于划分不同类别样本的边界。对于线性可分的数据，决策边界是一个线性方程；对于非线性可分的数据，可以通过引入多项式特征来构造非线性决策边界。
在实际应用中，合理选择决策边界对于提高模型的分类性能至关重要。通过调整模型参数，我们可以使决策边界更好地适应数据的分布。
continue…