广州微信网站建设价格WordPress显示403

第4集：逻辑回归——分类问题的基础

在机器学习中，逻辑回归（Logistic Regression） 是解决分类问题的经典算法之一。尽管名字中有“回归”，但它实际上是一种分类模型，广泛应用于二分类任务（如垃圾邮件检测、疾病诊断等）。今天我们将深入探讨逻辑回归的数学原理，并通过实践部分使用 Iris 数据集 进行二分类任务。

---

逻辑回归的数学原理

什么是逻辑回归？

逻辑回归的核心思想是将线性回归的输出映射到 [0, 1] 区间，从而表示概率值。其公式如下：
$$P(y=1|x)=\frac{1}{1+e^{-(w_0+w_1{x}_1+w_2{x}_2+...+w_p{x}_p)}}$$
其中：
$$P(y=1|x)表示给定输入特征x时，样本属于类别1的概率。$$
$$w_0,w_1,...,w_p是模型的参数。$$
$$e是自然对数的底数。$$
最终预测结果为：
$$\hat{y}=\{\begin{array}{ll}1& \text{if }P(y=1|x)\ge 0.5\\ 0& \text{otherwise}\end{array}$$

---

Sigmoid 函数的作用

逻辑回归的关键在于 Sigmoid 函数，它将线性回归的输出压缩到 [0, 1] 范围内。Sigmoid 函数的公式为：
$$\sigma (z)=\frac{1}{1+e^{-z}}$$
其中 $$z=w_0+w_1{x}_1+w_2{x}_2+...+w_p{x}_p$$。

图1：Sigmoid 函数图像
（图片描述：当 z 趋近于负无穷时，函数值趋近于 0；当 z 趋近于正无穷时，函数值趋近于 1。）

Sigmoid 函数的作用是将线性回归的连续输出转化为概率值，便于进行分类决策。

---

决策边界与概率输出

决策边界

逻辑回归通过找到一个超平面（在二维空间中是一条直线），将数据分为两类。决策边界由以下方程定义：
$$w_0+w_1{x}_1+w_2{x}_2+...+w_p{x}_p=0$$
所有满足该方程的点构成了决策边界。

概率输出

逻辑回归不仅提供分类结果，还输出每个样本属于某一类的概率。例如：

$$如果P(y=1|x)=0.8，说明该样本有80\%的概率属于类别1。$$

---

分类模型的评价指标

为了评估分类模型的性能，我们通常使用以下指标：

1. 准确率（Accuracy）

准确率表示模型预测正确的比例：
$$\text{Accuracy}=\frac{\text{True Positives}+\text{True Negatives}}{\text{Total Samples}}$$

2. 召回率（Recall）

召回率表示实际为正类的样本中被正确预测的比例：
$$\text{Recall}=\frac{\text{True Positives}}{\text{True Positives}+\text{False Negatives}}$$

3. F1 分数

F1 分数是精确率和召回率的调和平均值：
$$F1=2\cdot \frac{\text{Precision}\cdot \text{Recall}}{\text{Precision}+\text{Recall}}$$

---

实践部分：使用逻辑回归对 Iris 数据集进行二分类任务

数据集简介

Iris 数据集包含 150 条记录，每条记录有 4 个特征（花萼长度、花萼宽度、花瓣长度、花瓣宽度）和 1 个标签（鸢尾花种类）。我们将只使用前两个类别（Setosa 和 Versicolor）进行二分类任务。

完整代码

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import accuracy_score, recall_score, f1_score, confusion_matrix, classification_report# 加载数据
iris = load_iris()
data = pd.DataFrame(iris.data, columns=iris.feature_names)
data['Species'] = iris.target# 只保留前两个类别（Setosa 和 Versicolor）
data = data[data['Species'] != 2]# 提取特征和标签
X = data.iloc[:, :2]  # 使用前两个特征（花萼长度和宽度）
y = data['Species']# 分割数据集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42)# 构建逻辑回归模型
model = LogisticRegression()
model.fit(X_train, y_train)# 预测
y_pred = model.predict(X_test)# 评估模型性能
accuracy = accuracy_score(y_test, y_pred)
recall = recall_score(y_test, y_pred)
f1 = f1_score(y_test, y_pred)
conf_matrix = confusion_matrix(y_test, y_pred)print("模型评估结果：")
print(f"Accuracy: {accuracy:.2f}")
print(f"Recall: {recall:.2f}")
print(f"F1 Score: {f1:.2f}")
print("Confusion Matrix:")
print(conf_matrix)# 绘制决策边界
plt.figure(figsize=(10, 6))# 绘制训练集散点图
plt.scatter(X_train.iloc[:, 0], X_train.iloc[:, 1], c=y_train, cmap='coolwarm', edgecolor='k', s=100, label='Training Data')# 绘制测试集散点图
plt.scatter(X_test.iloc[:, 0], X_test.iloc[:, 1], c=y_test, cmap='coolwarm', marker='x', s=100, label='Testing Data')# 绘制决策边界
x_min, x_max = X.iloc[:, 0].min() - 0.5, X.iloc[:, 0].max() + 0.5
y_min, y_max = X.iloc[:, 1].min() - 0.5, X.iloc[:, 1].max() + 0.5
xx, yy = np.meshgrid(np.arange(x_min, x_max, 0.01), np.arange(y_min, y_max, 0.01))
Z = model.predict(np.c_[xx.ravel(), yy.ravel()])
Z = Z.reshape(xx.shape)
plt.contourf(xx, yy, Z, alpha=0.3, cmap='coolwarm')# 添加标题和标签
plt.title('Logistic Regression Decision Boundary', fontsize=16)
plt.xlabel('Sepal Length (cm)', fontsize=12)
plt.ylabel('Sepal Width (cm)', fontsize=12)
plt.legend()
plt.show()

---

运行结果

输出结果（输出图片见图2所示）：

模型评估结果：
Accuracy: 1.00
Recall: 1.00
F1 Score: 1.00
Confusion Matrix:
[[17  0][ 0 13]]

图2：逻辑回归决策边界
（图片描述：二维平面上展示了训练集（圆点）和测试集（叉号）的数据分布，背景颜色表示决策边界划分的区域。蓝色区域对应类别 0，红色区域对应类别 1。）

---

总结

本文介绍了逻辑回归的基本原理及其在分类任务中的应用。通过实践部分，我们成功使用逻辑回归对 Iris 数据集进行了二分类任务，并绘制了决策边界。希望这篇文章能帮助你更好地理解逻辑回归！

---

参考资料

• Scikit-learn 文档: https://scikit-learn.org/stable/documentation.html
• Iris 数据集: https://archive.ics.uci.edu/ml/datasets/iris