当前位置: 首页 > news >正文

【第二章:机器学习与神经网络概述】03.类算法理论与实践-(1)逻辑回归(Logistic Regression)

第二章: 机器学习与神经网络概述

第三部分:类算法理论与实践

第一节:逻辑回归(Logistic Regression)

内容:Sigmoid函数、损失函数、梯度下降优化。


一、逻辑回归简介

逻辑回归是一种用于二分类任务的统计学习方法。尽管名字中带有“回归”,但逻辑回归本质是分类算法,其输出是一个概率值,通过设定阈值来判定类别。


二、模型表达形式

逻辑回归模型如下:

\hat{y} = \sigma(z) = \frac{1}{1 + e^{-z}} \quad 其中 \ z = w^T x + b

  • \hat{y}:预测结果,表示属于“正类”的概率

  • x:输入特征向量

  • w:权重参数

  • b:偏置项

  • \sigma(\cdot):Sigmoid 激活函数


三、Sigmoid 函数

Sigmoid 函数将任意实数映射到 (0,1) 区间,公式如下:

\sigma(z) = \frac{1}{1 + e^{-z}}

性质:
  • 当 z→+∞,σ(z)→1

  • 当 z→−∞,σ(z)→0

  • σ(0)=0.5

它保证输出可以解释为“概率”。

上图展示了 Sigmoid 函数 \sigma(z) = \frac{1}{1 + e^{-z}} 的曲线形状:

  • 当 z→+∞z 时,函数值趋近于 1;

  • 当 z→−∞z 时,函数值趋近于 0;

  • 在 z = 0 处,函数值为 0.5,曲线最陡。


四、损失函数(对数似然损失)

逻辑回归使用的损失函数是对数损失函数(Log Loss),其目标是最大化似然函数,等价于最小化负对数似然:

\mathcal{L}(y, \hat{y}) = -[y \log(\hat{y}) + (1 - y) \log(1 - \hat{y})]

在整体样本上取平均作为总损失:

J(w, b) = \frac{1}{n} \sum_{i=1}^n \mathcal{L}(y_i, \hat{y}_i)

上图展示了对数损失函数(Log Loss)随预测概率的变化曲线:

  • 红线:真实标签 y = 1,预测越接近 1,损失越低;

  • 蓝线:真实标签 y = 0,预测越接近 0,损失越低;

  • 当预测概率极端错误(如接近 1 但实际为 0),损失会迅速升高。

这是逻辑回归训练中优化目标的重要基础之一。


五、参数优化:梯度下降(Gradient Descent)

为最小化损失函数,使用梯度下降算法不断更新参数:

  • 权重更新:

w := w - \alpha \cdot \frac{\partial J}{\partial w}

  • 偏置更新:

b := b - \alpha \cdot \frac{\partial J}{\partial b}

其中 α 是学习率。

常见优化策略:
  • Batch Gradient Descent(全量)

  • Stochastic Gradient Descent(SGD,单样本)

  • Mini-batch Gradient Descent(小批量)


六、Python 示例(使用 sklearn)
from sklearn.linear_model import LogisticRegression
from sklearn.datasets import make_classification
import matplotlib.pyplot as plt
import numpy as np# 创建数据
X, y = make_classification(n_samples=200, n_features=2, n_redundant=0, random_state=1)# 拟合逻辑回归模型
model = LogisticRegression()
model.fit(X, y)# 绘制决策边界
x_min, x_max = X[:,0].min(), X[:,0].max()
y_min, y_max = X[:,1].min(), X[:,1].max()
xx, yy = np.meshgrid(np.linspace(x_min, x_max, 300),np.linspace(y_min, y_max, 300))
Z = model.predict(np.c_[xx.ravel(), yy.ravel()])
Z = Z.reshape(xx.shape)plt.contourf(xx, yy, Z, alpha=0.3)
plt.scatter(X[:,0], X[:,1], c=y, edgecolor='k')
plt.title("逻辑回归分类边界")
plt.xlabel("Feature 1")
plt.ylabel("Feature 2")
plt.grid(True)
plt.show()


七、逻辑回归的优点与局限
优点说明
模型简单易于理解与实现
输出概率可以根据概率灵活设定阈值
训练快速适合大规模数据
局限说明
线性模型对于非线性问题效果较差
易受异常值影响需预处理数据
多分类需扩展需要 One-vs-Rest 或 Softmax 扩展

八、逻辑回归的应用场景
  • 垃圾邮件检测(是否垃圾)

  • 广告点击预测

  • 医疗诊断(是否患病)

  • 用户是否流失预测

相关文章:

  • 108页精品PPT | 大型某著名企业能源行业数字化转型汇报方案能源化工数字化转型
  • Java基础(三):逻辑运算符详解
  • 阿里云Elasticsearch生产环境误删数据恢复指南
  • LabVIEW网络流通信介绍
  • Elasticsearch(ES)与 OpenSearch(OS)
  • 实现 el-table 中键盘方向键导航功能vue2+vue3(类似 Excel)
  • 从0开始学习R语言--Day30--函数型分析
  • Centos 7离线部署Nginx 高效省时
  • uniapp安卓GPIO电平控制
  • Milvus【部署 03】Linux OpenEuler 环境在线+离线安装及卸载
  • 【软考高级系统架构论文】论企业集成架构设计及应用
  • Milvus【工具 01】milvus_cli和可视化工具attu安装使用
  • uniapp vue2多选模糊下拉组件
  • 住宅老年护理软件:市场洞察与发展前景
  • 顶级思维方式——认知篇十一《传习录》笔记
  • leetcode:78. 子集
  • 手机摄影后期进阶:LR调色参数黄金比例表
  • LeetCode中K个链表的链接的解法
  • 从本地到云端:通过ToolJet和cpolar构建远程开发环境实践过程
  • 操作系统 第九章 部分
  • 天津专业做网站/网站推广方案范文
  • 网站开发 调试/网络营销渠道
  • 珠海舒讯网站建设/微商营销
  • 企业招聘/seo值是什么意思
  • 深圳网站制作07551/免费外国网站浏览器
  • 记事本做网站素材代码/软文价格