python线性回归：从原理到实战应用

线性回归背景介绍

        首先举个例子来引入线性回归，例如一家银行的贷款业务，他会根据每个去贷款人的信息来判断到底借给多少钱。例如

这个时候我们可以看出来额度是跟前两个特征有关的，我们可以想象到银行肯定有一套规则，或者说有一个线性回归曲线，根据前两个特征然后给出你可以贷款多少钱。那么现在我们不知道，我们能不能通过现有的几个数据来推出来这个线性回归曲线呢？下面我们就来学习关于线性回归的原理和应用吧。

线性回归原理

        引出线性表达式

还以上面的数据为例，那么多数据我们能不能通过一条线来进行拟合。有多个参数，我们引入多个x

所以引入函数                。

我们也可以写成                    

此时的x0=1,这样我们就可以把表达式写成 

                ​​​​​​​        ​​​​​​​        ​​​​​​​        ​​​​​​​        ​​​​​​​

此时        

为什么要这样引入

1  在导入特征值时，数据一般是以列形式展现的，所以我们要将W的列形式转化为行向量，然后结果为一个一维的行矩阵

2 为什么要转化为矩阵来计算，因为矩阵可以并发计算，计算速度很快。

损失值计算

其实在我们计算时，所有点并不是完全在线上的，是有误差的，所有我们应该这样写

         ​​​​​​​        ​​​​​​​        ​​​​​​​        

这里y表示真实值，后半式子表示预测值，L表示误差项（真实值与预测值之间的差值），这里误差项是符合高斯分布的

 然后得出

然后我们求 θ的似然函数

然后我们进行计算。先取对数

 

        极大似然估计是要求出L ( θ )  的最大值，此处也就是求出J ( θ )的最小值。J ( θ ) 也是用优化方法求解线性回归问题的损失函数。        

最小二乘法

即求出上式中J ( θ ) J(\theta)J(θ)的最小值。
我们将M MM个N NN维样本组成矩阵X XX,

X XX的每一行对应一个样本，一共M MM行。
X XX的每一列对应样本的一个维度，加上一个值恒为1的维度，一共N + 1 N + 1N+1列。
这个额外的维度值恒为1，通常用于线性模型中的截距项，也就是说，每个样本都有一个额外的特征，其值为1。
具体形式如下：

 

梯度下降法

 从上面我们可以得出损失函数J ( θ ) J(\theta)J(θ)是一个凸函数，所以我们也可以用梯度下降算法来求得极值。

    梯度下降算法的目标是调整参数 θ \thetaθ 以最小化损失函数J ( θ ) J(\theta)J(θ)。梯度下降法通过计算损失函数相对于参数 θ \thetaθ 的梯度，并更新参数以减少误差。梯度是一个向量，其元素是损失函数对每个参数的偏导数。线性回归的梯度可以表示为：

        ​​​​​​​        ​​​​​​​        ​​​​​​​        

 

代码部分

上面不懂也不影响我们写代码，我们只要知道要处理什么类型问题就好了。

例如我们来写一个简单线性回归代码

数据是这些，我们来预测体重75，年龄23的血压收缩

import pandas as pd
from sklearn.linear_model import LinearRegression
import matplotlib.pyplot as plt
data=pd.read_csv(r'多元线性回归.csv',encoding='gbk')
# print(data.head())
# 体重,年龄,血压收缩
X=data[['体重','年龄']]
y=data[['血压收缩']]model=LinearRegression()
model.fit(X,y)
result1=model.score(X,y)
print(result1)
a=model.coef_
b=model.intercept_
# print(a,b)
print('预测函数y={:.2f}x1+{:.2f}x2+{:.2f}'.format(a[0][0],a[0][1],b[0]))c=model.predict([[75,23]])
print(c)

 输出

第一个为得分情况，第二个为预测的函数，第三个为我们的问题体重75，年龄23的血压收缩结果。