线性代数（1）线性方程组的多种解法
求解线性方程组是线性代数的核心问题之一，根据方程组的类型（如齐次/非齐次、方阵/非方阵、稀疏/稠密等），可以采用不同的解法。以下是常见的线性方程组解法分类及简要说明：
一、直接解法（精确解）
适用于中小规模或特殊结构的方程组，理论上可在有限步内得到精确解。
高斯消元法（Gaussian Elimination）
通过初等行变换将增广矩阵化为行阶梯形（REF）或简化行阶梯形（RREF），然后回代求解。
适用于任意线性方程组，但计算复杂度为
LU分解（LU Decomposition）
将系数矩阵 A 分解为下三角矩阵LL 和上三角矩阵 U的乘积（A=LU），再分别求解
Ly=b 和
Ux=y。
适用于需要多次求解不同右端项 b 的情况。
Cholesky分解
针对对称正定矩阵，分解为
A=L。
克拉默法则（Cramer's Rule）
通过行列式计算每个变量的解：
仅适用于小规模方程组（因行列式计算复杂度高）。
二、迭代解法（近似解）
适用于大规模稀疏方程组，通过迭代逼近解，适合数值计算。
雅可比迭代法（Jacobi Iteration）
高斯-赛德尔迭代法（Gauss-Seidel Iteration）
类似雅可比法，但使用最新计算的 值加速收敛：
逐次超松弛迭代法（SOR, Successive Over-Relaxation）
高斯-赛德尔的加速版本，引入松弛因子 ω 以提高收敛速度。
共轭梯度法（Conjugate Gradient, CG）
针对对称正定矩阵的迭代法，通过构造共轭方向快速收敛。常用于求解大型稀疏方程组。
广义最小残量法（GMRES）
适用于非对称矩阵的迭代法，通过Krylov子空间最小化残差。
三、特殊类型方程组的解法
齐次方程组
欠定方程组（方程数 < 变量数）
有无穷多解，可求最小范数解（如用SVD或伪逆
超定方程组（方程数 > 变量数，最小二乘问题）
QR分解（数值稳定性更好）。
SVD分解（适用于病态矩阵）。
四、矩阵分解法
QR分解
奇异值分解（SVD）
Schur分解
适用于特征值问题相关的方程组。
五、其他数值方法
并行算法
针对超大规模方程组，使用分布式计算（如并行LU分解）。
符号计算
用计算机代数系统（如Mathematica、SymPy）求符号解。
预处理技术
对矩阵进行预处理（如不完全LU分解）以加速迭代法收敛。
选择依据
矩阵性质：对称性、正定性、稀疏性等。
规模：小规模用直接法，大规模用迭代法。
精度要求：直接法精度高，迭代法需控制误差。
计算资源：内存、并行能力等。
解法举例：
总结
直接法：适合小规模精确解（如高斯消元、LU分解）。
迭代法：适合大规模稀疏问题（如共轭梯度法）。
特殊问题：超定方程组用最小二乘，欠定方程组用SVD。
通过具体例子可以更直观地理解每种解法的操作流程和适用场景！