机器学习中的数学基础（2）——线性代数

线性代数基础

矩阵的运算：

1. 加法：对位相加
2. 数乘：每位都乘
3. 矩阵乘法
4. 方阵才有逆矩阵

矩阵求导

${\frac{\partial Ax}{\partial x}=A^T}$
求导后为系数矩阵的转置

Hessian矩阵和Jacobian矩阵

书写规则：

1. Jacobian矩阵：（一阶偏导矩阵）
   行为：每个函数 $f_i$的变化
   列为：每个变量 $x_j$的变化
2. Hessian矩阵：（二阶偏导矩阵）
   行为：每个函数的第一个偏导因子的变化 $x_i$
   列为：每个函数的第二个偏导因子的变化 $x_j$

向量

运算：数乘、相加、相减和内积
投影
相关性
空间的维数和基

主要的应用

PCA、SVD等理论