标量对矩阵求导

定义：

若有函数y=f(X)，其中X为一个矩阵，y为标量，则标量y对矩阵X的导数定义为y对X逐元素求导排列成与X同型的矩阵

$$[\frac{\varphi{y}}{\varphi{X_{ij}}}]$$

但是在实际计算标量对矩阵求导时，并不是直接使用标量对矩阵中的逐元素求导，而是将矩阵当作一个整体来求导

标量对矩阵求导公式推导

若有y=f(X)，其中X为$m{\times}n$的矩阵，则由全微分公式可以得到

$$df=\sum_{i=1}^{m}\sum_{j=1}^{n} {\frac{\varphi{f}}{\varphi{X_{ij}}}}dX_{ij}$$

令：

$$\frac{\partial{f}}{\partial{X}}= \begin{pmatrix} {\frac{\partial{f}}{\partial{X_{11}}}} & {\frac{\partial{f}}{\partial{X_{12}}}} & \cdots & {\frac{\partial{f}}{\partial{X_{1n}}}} \\ {\frac{\partial{f}}{\partial{X_{21}}}} & {\frac{\partial{f}}{\partial{X_{22}}}} & \cdots & {\frac{\partial{f}}{\partial{X_{2n}}}} \\ \vdots & \vdots & & \vdots \\ {\frac{\partial{f}}{\partial{X_{m1}}}} & {\frac{\partial{f}}{\partial{X_{m2}}}} & \cdots & {\frac{\partial{f}}{\partial{X_{mn}}}} \end{pmatrix}_{m{\times}n}$$ $$dX=\begin{pmatrix} dX_{11} & dX_{12} & \cdots & dX_{1n} \\ dX_{21} & dX_{22} & \cdots & dX_{2n} \\ \vdots & \vdots & & \vdots \\ dX_{m1} & dX_{m2} & \cdots & dX_{mn} \end{pmatrix}_{m{\times}n}$$

则

$$[(\frac{\partial{f}}{\partial{X}})^T·dX]_{ii}= \sum_{k=1}^{m}{\frac{\partial{f}}{\partial{X_{ki}}}}dX_{ki}$$

则

$$tr[(\frac{\partial{f}}{\partial{X}})^T·dX] = \sum_{i=1}^{m}\sum_{j=1}^{n}{\frac{\partial{f}}{\partial{X_{ij}}}}dX_{ij}$$ $$df = tr[(\frac{\partial{f}}{\partial{X}})^T·dX] \tag{1}$$

其中tr表示矩阵的迹(trace)，是方阵对角元素之和。所以只要求全微分的公式(1)左边的形式，就可以的得到$\frac{\partial{f}}{\partial{X}}$$

矩阵微分的运算法则

1、加减法、乘法、转置、迹

$$d(X{\pm}Y) = dX {\pm} dY \\ d(XY) = X(dY)+d(X)Y \\ d(X^T) = (dX)^T \\ dtr(X) = tr(dX)$$

2、逆

$$dX^{-1} = -X^{-1}dXX^{-1}$$

该公式可以使用公式$XX^{-1} = I$，两边同时对X求微分。

3、行列式

$$d\left| X \right| = tr(X^*dX)$$

其中$X^*$为X的伴随矩阵

4、逐函数乘法

$$d(X \bigodot Y) = dX \bigodot Y + X \bigodot dY$$

其中$\bigodot$表示同型矩阵逐元素相乘

5、逐元素函数

$$d\sigma(X) =\sigma^{'} \bigodot dX$$

其中$\sigma(X)=[\sigma(X_{ij})]$是逐元素标量函数的计算

关于矩阵的迹的公式

$$a=tr(a)，a为标量 \\ tr(A^T) = tr(A) \\ tr(A \pm B) = tr(A) \pm tr(B) \\ tr(BA) = tr(AB)$$

一个例子

y=ATXB，求$\frac{\partial y}{\partial X}$

解：

$$\begin{align*} df &= A^Td(XB) + d(A^T)·XB \\ &= A^TdX·B + A^TXdB \\ &= A^TdX·B \\ &其中d(A^T)=d(B)=0 \end{align*}$$

应为df为标量，所以

$$\begin{align*} df &= tr(df) \\ &= tr(A^TdX·B) \\ &= tr(BA^TdX) \\ &= tr[(AB^T)^Tdx] \end{align*}$$

所以$\frac{\partial y}{\partial X}=(AB^T)$

链式法则

在标量对矩阵求导中，没有类似标量对标量求导的链式法则。

此时没有明确的链式法而是要使用公式进行推导，例如有$z = f(Y)$，其中Y为矩阵且$Y=AXB$，A、X、B、都为矩阵，求$\frac{\partial f}{\partial X}$。

推导过程：

$$\begin{align*} dz &= tr[(\frac{\partial f}{\partial Y})^TdY] \\ &= tr[(\frac{\partial f}{\partial Y})^Td(AXB)] \\ &= tr[(\frac{\partial f}{\partial Y})^TdA·(XB)] + tr[(\frac{\partial f}{\partial Y})^TA·d(XB)] \\ &= tr[(\frac{\partial f}{\partial Y})^TAdX·B] + tr[(\frac{\partial f}{\partial Y})^TAX·d(B)] \\ &= tr[(\frac{\partial f}{\partial Y})^TAdX·B] \\ &= tr[B·(\frac{\partial f}{\partial Y})^TAdX] \\ &= tr[(A^T\frac{\partial f}{\partial Y}B^T)^TdX] \\ &其中dA=dB=0 \end{align*}$$

所以有$\frac{\partial z}{\partial X}=(A^T\frac{\partial f}{\partial Y}B^T)$