机器学习（线性代数）

线性代数

1. 内积

$\left[\begin{matrix} x_1&x_2&\cdots&x_n\end{matrix}\right]\left [\begin{matrix} y_1\\y_2\\\vdots\\y_n\end{matrix}\right]=\sum\limits_{i=1}^nx_iy_i$

2. 相似矩阵

两个n阶方阵A和B为相似矩阵，当且仅当存在一个n阶可逆矩阵P使得：
$P^{-1}AP=B$
方阵P称为A和B之间的相似变换矩阵，方阵A相似B记做：A~B

3. Jordan标准型

对任意一n阶矩阵A,必存在n阶可逆矩阵P,使得：
$P^{-1}AP=\left[\begin{matrix}J_1\\&J_2\\&&\ddots\\&&&J_n \end{matrix}\right]=J$，其中每一个对角块都是Jordan块：
$J_i=\left[\begin{matrix}\lambda_i &1\\&\lambda_i&1\\&&\lambda_i&\ddots\\&&&\ddots&1\\&&&&\lambda_i\end{matrix}\right]$
，对角线上同为 $\lambda_i$, $\lambda_i$的上面都有一个1，其余元素都是0

4. 相似对角化

矩阵 $A_{n*n}$可相似对角化的条件为A有n个线性无关的特征向量；可以理解为每一个特征值的几何重数等于代数重数

5. 矩阵的等价、相似与合同

矩阵等价：如果两个矩阵满足QAP=B，其中Q与P都为可逆矩阵则A与B等价
矩阵相似： $P^{-1}AP=B$,则A与B相似
矩阵合同：若存在可逆矩阵C，使得 $C^{T}AC=B$则称方阵A与B合同，记做A=B

6. 二次型

n阶实对称阵A的二次型定义为 $f=x^TAx$
对称阵A叫做二次型 $f$的矩阵， $f$叫做对称阵的二次型
给定一个二次型就能唯一地确定一个对称阵；反之任给一个对称阵也能唯一确定一个二次型

7. 正定、半正定矩阵

对于n阶对称方阵A
正定矩阵：二次型 $x^TAx>0$, $\forall x\neq0$ $\big(对称方阵A所有特征值均为正数\big)$
半正定矩阵：二次型 $x^TAx\geq0$, $\forall x\neq0$ $\big(对称方阵A的所有特征值均为非负数\big)$

8. 向量的范数

$x\in R^n$
$\iota_1$范数 $\lVert x \rVert_1=\sum\limits_{j=1}^n\lvert x_j\rvert$
$\iota_2$范数 $\lVert x \rVert_2=\big(x_1^2+x_2^2+\cdots+x_n^2\big)^{\frac{1}{2}}$
$\iota_\infty$范数 $\lVert x \rVert_\infty=max\big(\lvert x_1 \rvert,\cdots,\lvert x_n\rvert\big)$无穷范数

9. 矩阵的范数

1. 谱范数：
   $\lVert A \rVert_2=\delta_{max}=\sqrt{\lambda_{max}}$, $\lambda_{max}$位 $A^TA$的最大特征值， $\delta_{max}$为方阵A最大奇异值
2. p范数
   $\iota_p$范数 $\lVert A \rVert_p=\max\limits_{x\neq0}\frac{\lVert Ax \rVert_p}{\lVert x \rVert_p}$

10. 最小二乘法

1. 目标
   SSE(sum squares of error): $SSE=\sum\limits_{i=1}^m\big(y_i-\hat{y}_i\big)^2$
2. 特点
   最小二乘法是残差满足正态分布情况下的最大似然估计