【矩阵分析与应用】【第5章 梯度分析与最优化】【5.2.2 矩阵迹的微分计算示例d(tr(U))=tr(dU)证明】

引言

  在矩阵分析中，迹（trace）运算的微分是一个基础而重要的概念。迹的微分在优化问题、机器学习中的梯度计算等领域有着广泛的应用。本文通过一个具体的例子来展示如何计算矩阵迹的微分。

矩阵迹的定义

  对于一个 $n\times n$ 的方阵 $U=[u_{ij}]$，其迹定义为对角线元素之和：
$$\mathrm{tr}(U)=\sum _{i=1}^n{u}_{ii}$$

迹的微分计算

  考虑标量函数 $\mathrm{tr}(U)$ 的微分，其中 $U$ 是一个矩阵函数。

计算过程

根据迹的定义和微分运算的线性性质，我们有：
$$\begin{array}{rl}d(\mathrm{tr}U)& =d\left(\sum _{i=1}^n{u}_{ii}\right)\\ & =\sum _{i=1}^{n}d{u}_{ii}\\ & =\mathrm{tr}(dU)\end{array}$$

最终结果

因此，我们得到矩阵迹的微分公式：
$$d(\mathrm{tr}U)=\mathrm{tr}(dU)$$

公式说明

这个结果表明：

• 矩阵迹的微分等于矩阵微分的迹
• 迹运算与微分运算可以交换顺序
• 该公式在矩阵求导中非常有用，可以简化很多计算