多元线性回归方程的原理解析与案例

多元线性回归方程的原理解析与案例

一、多元线性回归模型的原理推导

1. 模型定义

多元线性回归用于描述因变量 $y$ 与 $p$ 个自变量 $x_1,x_2,...,x_p$ 的线性关系，模型形式为：

$$y={\beta }_0+{\beta }_1{x}_1+{\beta }_2{x}_2+...+{\beta }_p{x}_p+\epsilon$$

其中：

• ${\beta }_0$ 为截距项，${\beta }_1,...,{\beta }_p$ 为偏回归系数，

• $\epsilon$ 为误差项（满足 $E(\epsilon )=0$，$\text{Var}(\epsilon )={\sigma }^2$，且独立同分布）。

2. 矩阵表示

对于 $n$ 个样本，用矩阵形式表达更简洁：

$\mathbf{y}=\mathbf{X\beta }+\mathbf{\epsilon }$

各矩阵定义：

• 因变量向量：$\mathbf{y}=(y_1,y_2,...,y_n{)}^T\in {\mathbb{R}}^{n\times 1}$

• 设计矩阵：$\mathbf{X}=\left(\begin{array}{cccc}1& x_{11}& ...& x_{1p}\\ 1& x_{21}& ...& x_{2p}\\ ...& ...& ...& ...\\ 1& x_{n1}& ...& x_{np}\end{array}\right)\in {\mathbb{R}}^{n\times (p+1)}$（第一列全为 1 对应截距）

• 参数向量：$\mathbf{\beta }=({\beta }_0,{\beta }_1,...,{\beta }_p{)}^T\in {\mathbb{R}}^{(p+1)\times 1}$

• 误差向量：$\mathbf{\epsilon }=({\epsilon }_1,{\epsilon }_2,...,{\epsilon }_n{)}^T\in {\mathbb{R}}^{n\times 1}$

3. 参数估计：最小二乘法（OLS）

目标是找到参数估计 $\hat{\mathbf{\beta }}$，使误差平方和（SSE）最小：

$\text{SSE}=(\mathbf{y}-\mathbf{X}\hat{\mathbf{\beta }}{)}^T(\mathbf{y}-\mathbf{X}\hat{\mathbf{\beta }})$

步骤 1：展开误差平方和

$$\begin{array}{rl}\text{SSE}& =(\mathbf{y}-\mathbf{X\beta }{)}^T(\mathbf{y}-\mathbf{X\beta })\\ & ={\mathbf{y}}^T\mathbf{y}-{\mathbf{y}}^T\mathbf{X\beta }-{\mathbf{\beta }}^T{\mathbf{X}}^T\mathbf{y}+{\mathbf{\beta }}^T{\mathbf{X}}^T\mathbf{X\beta }\end{array}$$

由于 ${\mathbf{y}}^T\mathbf{X\beta }$ 是标量，其转置等于自身（${\mathbf{y}}^T\mathbf{X\beta }={\mathbf{\beta }}^T{\mathbf{X}}^T\mathbf{y}$），因此：
$$\text{SSE}={\mathbf{y}}^T\mathbf{y}-2{\mathbf{\beta }}^T{\mathbf{X}}^T\mathbf{y}+{\mathbf{\beta }}^T{\mathbf{X}}^T\mathbf{X\beta }$$

步骤 2：对参数向量求导

为最小化 SSE，对 $\mathbf{\beta }$ 求导并令导数为 0。利用矩阵求导法则： $$\frac{\partial }{\partial \mathbf{\beta }}({\mathbf{\beta }}^T\mathbf{a})=\mathbf{a}$$（$\mathbf{a}$ 为常数向量） $$\frac{\partial }{\partial \mathbf{\beta }}({\mathbf{\beta }}^T\mathbf{A\beta })=2\mathbf{A\beta }$$（$\mathbf{A}$ 为对称矩阵）

对 SSE 求导：
$$\frac{\partial \text{SSE}}{\partial \mathbf{\beta }}=-2{\mathbf{X}}^T\mathbf{y}+2{\mathbf{X}}^T\mathbf{X\beta }$$

步骤 3：求解正规方程

令导数为 0：
$$-2{\mathbf{X}}^T\mathbf{y}+2{\mathbf{X}}^T\mathbf{X\beta }=0$$

化简得正规方程：
$${\mathbf{X}}^T\mathbf{X\beta }={\mathbf{X}}^T\mathbf{y}$$

若 ${\mathbf{X}}^T\mathbf{X}$ 可逆（即自变量无完全共线性），则参数估计为：
$$\hat{\mathbf{\beta }}=({\mathbf{X}}^T\mathbf{X}{)}^{-1}{\mathbf{X}}^T\mathbf{y}$$

二、数学案例

问题

已知 3 个自变量（房屋面积 $x_1$、房间数 $x_2$、楼层 $x_3$）与房价 $y$ 的数据（单位：面积 / 平方米，房价 / 万元）：

样本	$x_1$	$x_2$	$x_3$	$y$
1	100	2	5	50
2	120	3	8	65
3	80	2	3	40
4	150	4	10	80

求回归方程 $$\hat{y}={\hat{\beta }}_0+{\hat{\beta }}_1{x}_1+{\hat{\beta }}_2{x}_2+{\hat{\beta }}_3{x}_3$$

计算步骤

1. 构造矩阵 因变量向量：$$\mathbf{y}=\left(\begin{array}{c}50\\ 65\\ 40\\ 80\end{array}\right)$$ 设计矩阵：$$\mathbf{X}=\left(\begin{array}{cccc}1& 100& 2& 5\\ 1& 120& 3& 8\\ 1& 80& 2& 3\\ 1& 150& 4& 10\end{array}\right)$$
2. 计算 ${\mathbf{X}}^T\mathbf{X}$ 和 ${\mathbf{X}}^T\mathbf{y}$ $${\mathbf{X}}^T\mathbf{X}=\left(\begin{array}{cccc}4& 450& 11& 26\\ 450& 53300& 1270& 3110\\ 11& 1270& 33& 75\\ 26& 3110& 75& 198\end{array}\right)$$ $${\mathbf{X}}^T\mathbf{y}=\left(\begin{array}{c}235\\ 26450\\ 685\\ 1685\end{array}\right)$$
3. 求逆矩阵 $({\mathbf{X}}^T\mathbf{X}{)}^{-1}$

通过矩阵求逆运算（可借助工具）：
$$({\mathbf{X}}^T\mathbf{X}{)}^{-1}\approx \left(\begin{array}{cccc}3.21& -0.02& -1.53& 0.08\\ -0.02& 0.0002& 0.005& -0.001\\ -1.53& 0.005& 0.15& -0.03\\ 0.08& -0.001& -0.03& 0.02\end{array}\right)$$

4. 计算参数估计
   $$\hat{\mathbf{\beta }}=({\mathbf{X}}^T\mathbf{X}{)}^{-1}{\mathbf{X}}^T\mathbf{y}\approx \left(\begin{array}{c}5.2\\ 0.3\\ 2.5\\ 1.1\end{array}\right)$$

结果

回归方程为：
$$\hat{y}=5.2+0.3x_1+2.5x_2+1.1x_3$$

含义：在其他变量不变时，房屋面积每增加 1 平方米，房价平均增加 0.3 万元；房间数每增加 1 间，房价平均增加 2.5 万元；楼层每增加 1 层，房价平均增加 1.1 万元。

三、总结

多元线性回归通过矩阵形式扩展了简单回归，核心是利用最小二乘法求解正规方程得到参数估计。其推导依赖矩阵运算和求导法则，关键在于将高维问题转化为矩阵方程求解。案例验证了计算逻辑，实际应用中需注意多重共线性对参数估计的影响（即 ${\mathbf{X}}^T\mathbf{X}$ 不可逆的情况）。