做网站代管理三年谷歌推广公司

【1】引言

回归就是找出散点的最佳拟合曲线；

逻辑回归是在找出散点的最佳拟合曲线之后，还要做一下分类。

【2】基本定义

【2.1】基本量定义

对于变量X={x1,x2,...,xn}，假定每个元素xi的取值都只有0和1两种可能，其实这就是二项分布（伯努利分布），相关文章链接为：

神经网络|(八)概率论基础知识-二项分布及python仿真-CSDN博客

  (1)

式（1）中，代表x对应的权重，代表偏置。实际上这里是用线性的方式尝试拟合曲线。sigmoid()函数就是深度学习中经常使用的S型激活函数，它可以表征非线性的影响力。

sigmoid()函数的定义式为：

  (2)

要想了解更多关于常见激活函数的内容，可通过下述文章回忆：

神经网络|(十二)|常见激活函数_各个激活函数代码-CSDN博客

逻辑回归常用的损失函数为交叉熵函数：

  (3)

式（3）中，分别是真实值和预测值。预测值根据sigmoid()函数计算得到。

在决策树学习中，曾了解信息熵的定义为：

  (4)

如想回忆决策树的学习，可通过链接直达：

python学智能算法（八）|决策树-CSDN博客

python学智能算法（九）|决策树深入理解-CSDN博客

【2.2】梯度变化

在高等数学中，梯度往往用来寻找最快增长或者最快下降的方向。

判断拟合曲线是否最佳的方法是，计算预测值（拟合值）和真实值的偏差，也就是定义损失函数。对损失函数引入梯度，可以让这个偏差按照最大的速率下降到最小。

逻辑回归分析中，确认最佳拟合曲线其实就是找出两个关键参数：、。

因此，需要对损失函数分别对这两个参数求导，找出这两个参数的变化方向，再反复修正参数，最后才能获得最佳的拟合曲线。

损失函数求导计算前，为体现整体影响，需要先求整体的平均损失：

(5)

【2.2.1】偏置梯度

然后对求导：

  (6)

式（6）按照链式法则拆开了，需要逐步计算每一个环节：

  (7)

  (8)

  (9)

此时有：

  (10)

实际上，式(10)回到了我们熟悉的模样，因为这个公式看上去就是预测值-真实值取了一个平均值，但实际上这个公式的获得经历了严格的推导。

仔细观察式（7）和式（8）可以看到，式（7）分式的分母和式（8）相同，定义sigmoid()函数的巧妙之处体现出来了。这也是促成式（10）体现出“直接定义预测值-真实值取一个平均值”表象的直接原因。

【2.2.2】权重梯度

  (11)

式（11）按照链式法则拆开了，需要逐步计算每一个环节。式（7）和式（8）已经计算完成，此时只需要计算最后一环：

  (12)

此时有：

  (13)

综上所述，损失函数对权重，偏置的梯度分别如式（10）和（11）所示。

【3】代码测试

为掌握逻辑回归的运算规则，使用python编写代码，这里直接给出完整代码：

import numpy as np# 生成示例数据
def generate_data(n_samples=1000, n_features=10):# 生成特征矩阵 X，从标准正态分布中采样# 特征分布 X 为(n_samples行, n_features列)的数组X = np.random.randn(n_samples, n_features)# 真实的权重向量，随机生成# true_weights是一个n_features列的一维数组true_weights = np.random.randn(n_features)# 计算线性组合# 这里采用了矩阵点乘# X 为(n_samples行, n_features列)的数组，因为true_weights在右侧，所以true_weights是(n_feature行，1列)的一维数组# 点乘结果linear_combination是(n_samples行, 1)的数组linear_combination = np.dot(X, true_weights)# 使用sigmoid函数将线性组合转换为概率# sigmoid函数会对linear_combination数组中的每一个元素都进行转化probabilities = 1 / (1 + np.exp(-linear_combination))# 根据概率生成标签 y，以概率决定标签为 1 或 0# y是一个伯努利试验的结果，每个元素都只有一次试验机会，取到1的概率就是probabilities# probabilities是一个n_samples行, 1列)的数组，各个位置取到1的概率和这个位置的probabilities大小有关y = np.random.binomial(1, probabilities)return X, y# 定义sigmoid函数
def sigmoid(z):# sigmoid函数公式，将输入转换为 0 到 1 之间的概率值return 1 / (1 + np.exp(-z))# 定义逻辑回归模型的训练函数
def logistic_regression(X, y, learning_rate=0.01, num_iterations=1000):# 获取样本数量 n 和特征数量 m# 获得的 n是X的行数，m是X 的列数n, m = X.shape# 初始化权重向量，全部设为 0# 定义一个1行m列的纯0矩阵weights = np.zeros(m)# 初始化偏置项为 0bias = 0# for循环的次数num_iterations在函数定义的时候当做已知参数传入for _ in range(num_iterations):# 计算线性组合# 这里的X和 weights按照点乘的形式计算，也获得了(n_samples行, 1列)的数组# bias会自动广播，生成和np.dot(X, weights)形状相同，但每个位置的元素都相等的数组linear_combination = np.dot(X, weights) + bias# 通过sigmoid函数得到预测概率# y_pred也是(n_samples行, 1列)的数组y_pred = sigmoid(linear_combination)# 计算权重的梯度dw = (1 / n) * np.dot(X.T, (y_pred - y))# 计算偏置的梯度db = (1 / n) * np.sum(y_pred - y)# 使用梯度下降更新权重weights -= learning_rate * dw# 使用梯度下降更新偏置bias -= learning_rate * dbreturn weights, bias# 定义预测函数
def predict(X, weights, bias):# 计算线性组合linear_combination = np.dot(X, weights) + bias# 通过sigmoid函数得到预测概率probabilities = sigmoid(linear_combination)# 根据概率将预测结果转换为 0 或 1predictions = (probabilities >= 0.5).astype(int)return predictions# 定义计算准确率的函数
def accuracy(y_true, y_pred):# 计算预测正确的比例return np.mean(y_true == y_pred)# 生成数据
X, y = generate_data()# 划分训练集和测试集，这里简单地取前 80% 作为训练集，后 20% 作为测试集
train_size = int(0.8 * len(X))
X_train, X_test = X[:train_size], X[train_size:]
y_train, y_test = y[:train_size], y[train_size:]# 训练逻辑回归模型
weights, bias = logistic_regression(X_train, y_train)# 进行预测
y_pred = predict(X_test, weights, bias)# 计算准确率
acc = accuracy(y_test, y_pred)
print(f"模型的准确率为: {acc}")

代码中定义梯度的部分为：

# 计算权重的梯度
dw = (1 / n) * np.dot(X.T, (y_pred - y))
# 计算偏置的梯度
db = (1 / n) * np.sum(y_pred - y)

经过第二节的分析，这两行代码看上去有些“大道至简”。

对代码的详细解读将在下一篇文章进行。

【4】细节说明

定义交叉熵损失函数时，未指定对数函数的底数。追溯第二节的分析可以发现，底数几乎没有用处，因为核心的梯度计算结果均和底数无关。

【5】总结

学习了逻辑回归的基础知识。