吴恩达机器学习笔记复盘（九）逻辑回归模型概述

简介

逻辑回归（Logistic Regression）是一种用于解决分类问题的统计学习方法，尤其适用于二分类任务。尽管名称中包含“回归”，但它实际上是一种分类模型。

核心思想 

逻辑回归的核心是通过逻辑函数（sigmoid函数）将线性回归的输出转换为概率值，从而实现分类。

步骤如下

线性回归基础

假设特征与目标之间存在线性关系，即 ，其中 是参数向量，是特征向量。

概率转换

使用sigmoid函数将线性输出 映射到概率 ，公式为：

分类决策

设定阈值（通常为0.5，其实随便了，你也可以设定成0.8，会得到不同结果罢了-_-!），若 则预测为正类（1），否则为负类（0）。

数学原理

假设函数

 逻辑回归的假设函数为：

- 当 很大时，（正类）。

- 当 很小时，（负类）。

损失函数

 -逻辑回归使用对数损失函数（交叉熵损失），公式为：

- \( y^{(i)} \) 是样本真实标签（0或1）。

- 损失函数通过最大化似然估计推导而来，确保模型预测概率与真实标签的一致性。

优化方法

 - 梯度下降：通过迭代更新参数 ，公式为： 其中 是学习率， 是第 个样本的第 个特征。

- 牛顿法/拟牛顿法：收敛速度更快，但计算复杂度较高。(略)

应用场景

 逻辑回归广泛应用于以下领域：

1. 二分类问题：如垃圾邮件识别、疾病诊断、用户流失预测。

2. 概率预测：例如计算用户点击广告的概率。

3. 可解释性需求：通过参数 分析特征对结果的影响方向和强度。

优缺点 

优点

- 简单高效：模型训练速度快，计算资源消耗低。

- 可解释性强：参数直接反映特征的重要性。

- 概率输出：提供分类的置信度。

缺点 

- 线性假设：对非线性数据拟合能力有限，需通过特征工程（如多项式特征）增强表达能力。

- 易欠拟合：复杂数据集可能需要正则化（如L1/L2正则）避免过拟合。

- 类别不平衡：需通过调整阈值或样本权重解决。

扩展问题

多分类逻辑回归

 若需处理多分类问题（如手写数字识别），可采用以下方法：

1. 一对多（One-vs-Rest）：为每个类别训练一个二分类器，预测时选择概率最大的类别。

2. Softmax回归：直接扩展逻辑回归到多分类，使用Softmax函数替代sigmoid函数。

总结

逻辑回归是一种经典的分类模型，其核心在于将线性回归与概率转换结合，适用于二分类和可解释性要求高的场景。尽管存在一定局限性，但其简单性和高效性使其成为实际应用中的常用工具。

笔者注

关于假设函数 课里并没有给出推导过程，只是简要提了一下。

构建逻辑回归算法需引入sigmoid函数（也称逻辑函数），其公式为

（约为2.7）。当很大时，接近1；为很大负数时，接近0；时，。 

第一步定义类似线性回归的直线函数，记为；第二步将传入逻辑函数，得到逻辑回归模型，该模型输入特征\(X\)，输出0到1之间的数字。

-------

但是实际上这个函数是非常重要的基础工具函数，涉及概率论的基础，所以给出推导过程便于理解逻辑回归模型的本质。

1. 逻辑回归的目标

逻辑回归用于二分类问题，假设输入特征为 ，输出标签为 。我们希望找到一个函数，将线性组合 映射到概率 ，即：

2. 对数几率函数（Logit Function）

 为了将线性模型与概率关联，引入对数几率（log-odds）：

该式左边是事件发生概率与不发生概率的比值的对数，右边是线性模型。通过变形可得到概率表达式。

3.推导sigmoid函数

 对对数几率公式两边取指数：

解出 ：

记为 ，其中 ：

4. 函数特性

输出范围：，适合表示概率。

- 对称性：，反映正负样本的对称性。

- 导数性质：导数可表示为 ，简化梯度计算。

5. 几何意义 

sigmoid函数将线性模型的输出 转换为概率值。当时，，模型预测为正类；反之则为负类。 

一句话比较的话，线性回归是用函数方程找出最小平均误差，而逻辑回归是先设定一个界线概率，然后根据这个界限算出正负（用人的概念就是归类）。