【高斯拟合最终篇】Levenberg-Marquardt（LM）算法

Levenberg-Marquardt（LM）算法是一种结合高斯-牛顿法和梯度下降法的优化方法，特别适合非线性最小二乘问题，如高斯函数拟合。它通过引入阻尼因子（damping factor）平衡高斯-牛顿法的快速收敛和梯度下降法的稳定性。以下是基于之前的 gaussian_fit.py，加入 LM 算法实现高斯拟合的 Python 示例，包含计算公式、代码和可视化结果，与高斯-牛顿法和梯度下降法的结果对比。

---

计算公式

高斯函数

高斯函数形式为：
$$f(x;A,\mu ,\sigma )=A\exp \left(-\frac{(x-\mu {)}^2}{2{\sigma }^2}\right)$$

• $A$: 幅度，控制曲线高度。
• $\mu$: 均值，控制曲线中心。
• $\sigma$: 标准差，控制曲线宽度。

优化目标

最小化残差平方和：
$$S(\theta )=\sum _{i=1}^n(y_i-f(x_i,\theta ){)}^2,\theta =[A,\mu ,\sigma ]$$

• $y_i$: 观测数据。
• $f(x_i,\theta )$: 模型预测值。
• $r_i=y_i-f(x_i,\theta )$: 残差。

雅可比矩阵

雅可比矩阵 ( J ) 包含高斯函数对参数 $\theta =[A,\mu ,\sigma ]$ 的偏导数：
$$J=[\begin{array}{c}\frac{\partial f(x_1)}{\partial A}\\ ⋮\\ \frac{\partial f(x_n}{\partial A}\end{array}$$