向量、矩阵求导的重要公式

书接上文标量、向量与矩阵的求导https://blog.csdn.net/weixin_42764932/article/details/113107265

几个公式要牢记，机器学习算法推导用的上

1. $\frac{\partial A\overrightarrow{x}}{\partial \overrightarrow{x}}=A^T$

可以看到，是向量对向量求导，多用分母布局，求出来的是梯度矩阵

即先按分母行数n拆成行n，再按分子行数m拆成列m

2. $\frac{\partial A\overrightarrow{x}}{\partial {\overrightarrow{x}}^T}=A$

3. $\frac{\partial ({\overrightarrow{x}}^{T}A)}{\partial \overrightarrow{x}}=A$

4. $\frac{\partial ({\overrightarrow{x}}^T\cdot A\cdot \overrightarrow{x})}{\partial \overrightarrow{x}}=(A^T+A)\cdot \overrightarrow{x}$

5. $\frac{\partial tr(AB)}{A}=B^T$

6. $\frac{\partial {\mathbf{a}}^{T}X\mathbf{b}}{X}=\mathbf{a}{\mathbf{b}}^T$

令$f={\mathbf{a}}^{T}X\mathbf{b}$

1. 对于标量结果 $f$（loss，一般就是所有loss的加和，标量）将所有偏导值与对应方向的偏微分进行相乘并加和可以得到 $f$ 的全微分。

2. 即 $df$ 等于 $\frac{\partial f}{\partial X}$ 与$dX$ 的内积

3. 已知相同尺寸的矩阵$\mathbf{A}$、 $\mathbf{B}$的内积可以表示为$tr({\mathbf{A}}^{\mathsf{T}}\mathbf{B})$

4. 根据2、3得$$\frac{\partial f}{\partial X}=tr({\frac{\partial f}{\partial X}}^{T}dX)$$

5. $f={\mathbf{a}}^{T}X\mathbf{b}$两边取微分，得到$$df=a^T(dX)b$$

6. 两边加上tr标记，我们就可以得到下式$df=tr(a^T(dX)b)$

7. 又由于$tf(ab)=tr(ba)$，所以$df=tr(b(a^T(dX)))$

8. 应用结合律去掉多余的括号$df=tr((a{b}^T{)}^{T}dX)$

9. 根据4和8，对应出$$\frac{\partial f}{\partial X}=a{b}^T$$

其他

https://blog.csdn.net/daaikuaichuan/article/details/80620518?utm_medium=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-2.control&depth_1-utm_source=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-2.control

矩阵求导术

上https://zhuanlan.zhihu.com/p/24709748
下https://zhuanlan.zhihu.com/p/24863977