矩阵内积求导/包含Hadamard root的矩阵求导/matrix elements-wise square root/矩阵逐元素平方根求导/F范数求导

包含Hadamard root的矩阵求导案例比较少，此案例仅供参考：

---

1 题目

给定 $\mathbf{X}\in {\mathbb{R}}^n$，$\mathbf{A}\in {\mathbb{R}}^{n\times n}$，$f(\mathbf{X})={\sum }_{i=1}^n\sqrt{|\mathbf{A}\mathbf{X}{|}_i^2+{\delta }^2}$。 其中$\sqrt{(\cdot )}$表示Hadamard root (elements-wise square root)，即矩阵元素逐项平方根。求$f^{\prime }(\mathbf{X})$，即$\frac{\partial f}{\partial \mathbf{X}}$。

2 求解

2.1 先用Hadamard product解平方根

令 $$\mathbf{v}=\sqrt{|\mathbf{A}\mathbf{X}{|}^2+{\delta }^{2}1}$$

$$\begin{array}{rl}\therefore \mathbf{v}\odot \mathbf{v}& =|\mathbf{A}\mathbf{X}{|}^2+{\delta }^{2}1\\ & =\mathbf{A}\mathbf{X}\odot \mathbf{A}\mathbf{X}+{\delta }^{2}1\end{array}$$

根据微分哈达马乘积性质： $d(\mathbf{X}\odot \mathbf{Y})=\mathbf{X}\odot d\mathbf{Y}+d\mathbf{X}\odot \mathbf{Y}$ 有：
$$\begin{array}{rl}d(\mathbf{v}\odot \mathbf{v})& =\mathbf{v}\odot d\mathbf{v}+d\mathbf{v}\odot \mathbf{v}\\ & =\mathbf{v}\odot d\mathbf{v}+\mathbf{v}\odot d\mathbf{v}\\ & =2\mathbf{v}\odot d\mathbf{v}\end{array}$$

即：
$$\begin{array}{rl}2\mathbf{v}\odot d\mathbf{v}& =d\left(\mathbf{A}\mathbf{X}\odot \mathbf{A}\mathbf{X}+{\delta }^{2}1\right)\\ & =d(\mathbf{A}\mathbf{X}\odot \mathbf{A}\mathbf{X})+d({\delta }^{2}1)\\ & =2\mathbf{A}\mathbf{X}\odot d(\mathbf{A}\mathbf{X})\\ & =2\mathbf{A}\mathbf{X}\odot ((d\mathbf{A})\mathbf{X}+\mathbf{A}d\mathbf{X})\\ & =2\mathbf{A}\mathbf{X}\odot \mathbf{A}d\mathbf{X}\end{array}$$

$$\therefore d\mathbf{v}=\mathbf{A}\mathbf{X}\odot \mathbf{A}d\mathbf{X}\oslash \mathbf{v}$$
其中 $\oslash$ 为 Hadamard division / elements-wise division，即矩阵逐项除法，与$\odot$具有相似的性质。或令$\mathbf{p}\odot \mathbf{v}=1$，即$\mathbf{p}$为$\mathbf{v}$的Hadamard inverse / elements-wise inverse，此时$d\mathbf{v}=\mathbf{A}\mathbf{X}\odot \mathbf{A}d\mathbf{X}\odot \mathbf{p}$.

2.2 利用Frobenius inner product（矩阵内积）和迹的性质可得解

由Frobenius inner product的定义： $\mathbf{A}:\mathbf{B}=\mathrm{tr}({\mathbf{A}}^T\mathbf{B})$，可得：
$$\begin{array}{rl}f& =1:\mathbf{v}\\ \therefore df& =d(1:\mathbf{v})\\ & =d1:\mathbf{v}+1:d\mathbf{v}(性质:\nabla (\mathbf{A}:\mathbf{B})=\nabla \mathbf{A}:\mathbf{B}+\mathbf{A}:\nabla \mathbf{B})\\ & =1:d\mathbf{v}\\ & =1:(\mathbf{A}\mathbf{X}\odot \mathbf{A}d\mathbf{X}\oslash \mathbf{v})\\ & =1:(\mathbf{A}\mathbf{X}\oslash \mathbf{v}\odot \mathbf{A}d\mathbf{X})(性质:\mathbf{X}\odot \mathbf{Y}=\mathbf{Y}\odot \mathbf{X})\\ & =(1\odot (\mathbf{A}\mathbf{X}\oslash \mathbf{v})):(\mathbf{A}d\mathbf{X})(性质:\mathbf{C}:(\mathbf{A}\odot \mathbf{B})=(\mathbf{C}\odot \mathbf{A}):\mathbf{B})\\ & =(\mathbf{A}\mathbf{X}\oslash \mathbf{v}):(\mathbf{A}d\mathbf{X})\\ & ={\mathbf{A}}^T(\mathbf{A}\mathbf{X}\oslash \mathbf{v}):d\mathbf{X}(性质:\mathbf{C}\mathbf{A}:\mathbf{B}=\mathbf{A}:{\mathbf{C}}^T\mathbf{B}=\mathbf{C}:\mathbf{B}{\mathbf{A}}^T\\ & =\mathrm{tr}(({\mathbf{A}}^T(\mathbf{A}\mathbf{X}\oslash \mathbf{v}){)}^{T}d\mathbf{X})(矩阵内积定义)\\ 即\frac{\partial f}{\partial \mathbf{X}}& ={\mathbf{A}}^T(\mathbf{A}\mathbf{X}\oslash \mathbf{v})(性质：df=\mathrm{tr}\left({\left(\frac{\partial f}{\partial \mathbf{X}}\right)}^{T}d\mathbf{X}\right))\end{array}$$
如果是使用上面定义的Hadamard inverse，那么结果也可以表示为：
$$\frac{\partial f}{\partial \mathbf{X}}={\mathbf{A}}^T(\mathbf{A}\mathbf{X}\odot \mathbf{p})$$

总结：
先利用Hadamard product解平方根，然后利用相关性质得到$d\mathbf{v}$，最后利用矩阵内积和迹的性质可得解。

参考链接：

• Partial Derivative of Square Root with Matrix Multiplication
• How to compute the derivative of the following function with matrix X as the variable?