cdr做网站湖北网站建设制作

机器学习（Machine Learning）

简要声明

基于吴恩达教授(Andrew Ng)课程视频
BiliBili课程资源

---

---

一、逻辑回归的基本原理

二、决策边界

在逻辑回归中，决策边界是模型用于划分不同类别样本的边界。对于二分类任务，决策边界通常是一个阈值，例如 0.5。当模型输出大于等于 0.5 时，我们预测样本属于正类（1）；当模型输出小于 0.5 时，我们预测样本属于负类（0）。

决策边界的选择对于模型的性能至关重要。在实际应用中，我们可能需要根据具体问题调整决策边界，以平衡精度和召回率。

决策边界的数学表达

决策边界的数学表达式为：

$$f_{\overrightarrow{w},b}(\overrightarrow{x})\ge 0.5$$

根据 Sigmoid 函数的性质，当且仅当线性组合 $z=\overrightarrow{w}\cdot \overrightarrow{x}+b\ge 0$ 时，$g(z)\ge 0.5$。因此，决策边界可以表示为：

$$\overrightarrow{w}\cdot \overrightarrow{x}+b=0$$

线性决策边界示例

假设我们有一个二维特征空间，其中 $x_1$ 和 $x_2$ 是两个特征。决策边界可以表示为：

$$w_1{x}_1+w_2{x}_2+b=0$$

例如，假设 $w_1=1$, $w_2=1$, $b=-3$，则决策边界为：

$$x_1+x_2-3=0$$

即：

$$x_1+x_2=3$$

这个决策边界将特征空间划分为两个区域：当 $x_1+x_2\ge 3$ 时，预测 $\hat{y}=1$；否则预测 $\hat{y}=0$。

非线性决策边界

逻辑回归模型也可以处理非线性决策边界。通过引入多项式特征，我们可以构造更复杂的决策边界。例如：

$$z=w_1{x}_1^2+w_2{x}_2^2+b$$

决策边界为：

$$w_1{x}_1^2+w_2{x}_2^2+b=0$$

例如，假设 $w_1=1$, $w_2=1$, $b=-1$，则决策边界为：

$$x_1^2+x_2^2-1=0$$

即：

$$x_1^2+x_2^2=1$$

这个决策边界是一个半径为 1 的圆，将特征空间划分为内部和外部两个区域：当 $x_1^2+x_2^2\ge 1$ 时，预测 $\hat{y}=1$；否则预测 $\hat{y}=0$。

非线性决策边界的示例

考虑一个更复杂的非线性决策边界：

$$z=w_1{x}_1^2+w_2{x}_2^2+w_3{x}_1^3+w_4{x}_1{x}_2+w_5{x}_2^3+b$$

决策边界为：

$$w_1{x}_1^2+w_2{x}_2^2+w_3{x}_1^3+w_4{x}_1{x}_2+w_5{x}_2^3+b=0$$

这个决策边界可以是椭圆、圆形或其他复杂的形状，具体取决于参数的选择。

决策边界是逻辑回归模型用于划分不同类别样本的边界。对于线性可分的数据，决策边界是一个线性方程；对于非线性可分的数据，可以通过引入多项式特征来构造非线性决策边界。

在实际应用中，合理选择决策边界对于提高模型的分类性能至关重要。通过调整模型参数，我们可以使决策边界更好地适应数据的分布。

---

continue…