人工智能数学基础之线性代数(持续更新)

前言

本文只会记录人工智能中所用到的线性代数知识，并不会记录大学线性代数教材中的所有知识。
只会介绍向量和矩阵、特征向量和特征值以及矩阵分解。

标量

只有大小没有方向的量称为标量。

单个数字就是标量。

向量

所谓的向量就是一组数字，可以用 $v$来表示
$v = \left[\begin{matrix}1 \\2 \\3 \end{matrix} \right]$ 或 $v = [1 ~ 2 ~ 3]$

当两个向量大小相等、方向相同时，说这两个向量相等。

这里由3个数组成，叫做3维向量，相应的，由n个数组成的称为n维向量。

左边排成一列的形式叫做列向量；右边叫做行向量

$v_i$表示向量中的第 $i$个元素，本例中 $v_1 =1,v_2 = 2,v_3 = 3$

3维向量可以在3维空间中表示出来。

向量的长度

n维向量 $\alpha = (a_1,a_2,...,a_n)$，数值 $\sqrt{a_1^2 + a_2^2 + ... + a_n^2}$称为向量 $\alpha$的长度或模，记为 $\left \| \alpha \right \|$

$\left \| \alpha \right \| = 1$ 称 $\alpha$为单位向量。

向量的运算

向量的加法：

向量的减法：

注意 $\vec{a} - \vec{b}$得到的向量为 $\vec{b}$指向 $\vec{a}$。

向量的乘法：

$\vec{a} \cdot \vec{b} = | \vec{a} | \cdot |\vec{b}| \cos \theta$

相当于向量 $\vec{b}$在向量 $\vec{a}$的方向的投影与向量 $| \vec{a} |$相乘

向量的范数

向量的1-范数： $\left \| X \right \|_1 = |x_1| +|x_2| + ... + |x_n|$ ；各元素的绝对值之和
向量的2-范数： $\left \| X \right \| = \sqrt{x_1^2 + x_2^2 + ... + x_n^2}$ ； 每个元素的平方和再开方，也就是n维向量的长度；
向量的无穷范数： $\left \| X \right \|_\infty = \max(|x_1|,|x_2|,...,|x_n|)$ ；分量绝对值的最大者
向量的p-范数： $\left \| X \right \|_p = (\sum_{i=1}^n |x_i| ^ p)^{\frac{1}{p}} , (1 \leq p \leq n)$

对于2-范数有： $||x|| + ||y|| \geq || x + y||$

当 $||\vec{x}||$ ≠ $0$ ， $||\vec{y}||$ ≠ $0$ 时，称
$\theta = \arccos \frac{ \vec{a} \cdot \vec{y}}{||\vec{x}|| || \vec{y}||}$
为向量 $\vec{x}$与 $\vec{y}$的夹角。

向量的内积

设有n维向量
$\vec{x} = \left[ \begin{matrix} x_1 \\ x_2 \\ \vdots \\ x_n \end{matrix} \right], \vec{y} = \left[ \begin{matrix} y_1 \\ y_2 \\ \vdots \\ y_n \end{matrix} \right],$

令 $[\vec{x},\vec{y}] = \sum_{i=1}^n x_i y_i = x_1y_1 + x_2y_2 + \cdots+ x_ny_n$
上式称为向量的内积，内积的结果是一个标量。

这里要求一维向量 $\vec{x}$和向量 $\vec{y}$的行列数相同。

当 $[\vec{x},\vec{y}] = 0$时，称向量 $\vec{x}$和向量 $\vec{y}$正交。

一组两两相交的非零向量，称为正交向量组。

向量组

若干个同维的列向量(行向量)所组成的集合称为向量组。
如 $\vec{a_1},\vec{a_2},\vec{a_3},\cdots,\vec{a_n}$

$\left[ \begin{matrix} a_{11} & a_{21} & \cdots & a_{m1}\\ a_{12} & a_{22} & \cdots & a_{m2} \\ \vdots & \vdots & \ddots & \vdots \\ a_{1n} & a_{2n} & \cdots & a_{mn} \end{matrix} \right]$

向量组的线性组合：
对于向量组 $\vec{a_1},\vec{a_2},\vec{a_3},\cdots,\vec{a_n}$，如果有一组数 $k_1,k_2,\cdots,k_n$，使
$\vec{\beta} = k_1 \vec{a_1} + k_2\vec{a_2} + \cdots + k_n\vec{a_n},$
则称向量 $\vec{\beta}$是向量组 $\vec{a_1},\vec{a_2},\vec{a_3},\cdots,\vec{a_n}$的一个线性组合，或称 $\vec{\beta}$可由向量组 $\vec{a_1},\vec{a_2},\vec{a_3},\cdots,\vec{a_n}$线性表示。

向量组的线性相关：

给定向量组 $A= \vec{a_1},\vec{a_2},\vec{a_3},\cdots,\vec{a_n}$，如果存在不全为零的数 $k_1,k_2,\cdots,k_n$使
$k_1\vec{a_1} + k_2\vec{a_2} + \cdots + k_n\vec{a_n} = 0$

则称向量组 $A$是线性相关的，否则称它为线性无关。

对于任一向量组，不是线性无关就是线性相关。

向量空间

设 $V$是 $n$维实向量构成的集合，对于向量的加法运算及数乘运算满足：

1. 任意 $\alpha \in V,\beta \in V$，有 $\alpha + \beta \in V$；
2. 任意 $\alpha \in V, k \in R$，有 $k\alpha \in V$

则称集合 $V$为 $R$上的实向量空间，简称向量空间。

已知 $V_1,V_2$是向量空间，若 $V_1 \in V_2$，则称 $V_1$是 $V_2$的子空间。

向量空间的基

设 $V$是一个向量空间，如果存在一组向量 $\alpha_1,\alpha_2,\cdots,\alpha_r \in V$，满足：

1. $\alpha_1,\alpha_2,\cdots,\alpha_r$线性无关；
2. $V$中任意一组向量都可以由该向量组线性表示，则称 $\alpha_1,\alpha_2,\cdots,\alpha_r$为向量空间 $V$的一组基；

矩阵

矩阵是一个按照长方阵列排列的复数或实数集合。
由 $m × n$个数组成的一个 $m$行 $n$列的矩形表格，组成矩阵的每一个数，均称为矩阵的元素。如图所示：

$A = \left[ \begin{matrix} a_{11} & a_{12} & \cdots & a_{1n}\\ a_{21} & a_{22} & \cdots & a_{2n} \\ \vdots & \vdots & \ddots & \vdots \\ a_{m1} & a_{m2} & \cdots & a_{mn} \end{matrix} \right]$

单位矩阵：从左上角到右下角的对角线（称为主对角线）上的元素均为1。除此以外全都为0，如：

$\left[ \begin{matrix} 1 & 0 & 0\\ 0& 1 & 0 \\ 0 & 0 & 1 \end{matrix} \right]$

矩阵的基本运算

两个矩阵的行数和列数分别相等，称它们为同型矩阵。

加法

矩阵的加法只能在两个同型矩阵之间进行，两个矩阵相加时，对应元素进行相加。

如：

$\left[ \begin{matrix} 1 & 2 & 3\\ 4 & 5 & 7 \end{matrix} \right] + \left[ \begin{matrix} 0 & 0 & 2\\ 2 & 1 & 3 \end{matrix} \right] = \left[ \begin{matrix} 1 & 2 & 5\\ 6 & 6 & 10 \end{matrix} \right]$

数乘

数 $\lambda$与矩阵 $A$的乘积记作 $\lambda A$或 $A\lambda$，规定为

$\lambda A = A\lambda = \left[ \begin{matrix} \lambda a_{11} & \lambda a_{12} & \cdots & \lambda a_{1n}\\ \lambda a_{21} & \lambda a_{22} & \cdots & \lambda a_{2n} \\ \vdots & \vdots & \ddots & \vdots \\ \lambda a_{m1} & \lambda a_{m2} & \cdots & \lambda a_{mn} \end{matrix} \right]$

乘法

必须满足矩阵 $A$的列数与矩阵 $B$的行数相等，或者矩阵 $A$的行数与矩阵 $B$的列数相等。

记 $C=AB$，矩阵 $C$的第 $i$行第 $j$列的元素等于矩阵 $A$的第 $i$行的所有元素与矩阵 $B$的第 $j$列的对应元素的乘积之和，即：
$C_{ij} = \sum_{k=1}^na_{ik}b_{kj}$
如：

$\left[ \begin{matrix} 1 & 2 & 3 \end{matrix} \right] _{1×3} \left[ \begin{matrix} 4 \\ 5 \\6 \end{matrix} \right]_{3×1} = 1×4 + 2×5 + 3×6 =32$

$\left[ \begin{matrix} 1 \\ 2 \\3 \end{matrix} \right]_{3×1} \left[ \begin{matrix} 4 & 5 & 6 \end{matrix} \right] _{1×3} = \left[ \begin{matrix} 4 & 5 & 6\\ 8 & 10 & 12\\12 & 15 & 18 \end{matrix} \right]_{3×3}$

矩阵的乘法不满足交换律

转置

矩阵 $A$的转置矩阵，记作 $A^T$，是将 $A$的行列互换后所得矩阵，如果 $A$是一个 $m ×n$阶矩阵， $A^T$是一个 $n×m$阶矩阵。

$A = \left[ \begin{matrix} 1 & 4 \\ 2 & 5 \\ 3 & 6 \end{matrix} \right] A^T = \left[ \begin{matrix} 1 & 2 & 3\\ 4 & 5 & 6 \end{matrix} \right]$

矩阵的转置的性质：

1. $(A^T)^T = A$
2. $(A+B)^T = A^T +B^T$
3. $(\lambda A)^T=\lambda A^T$
4. $(AB)^T = B^TA^T$

逆矩阵

设 $A$为 $n$阶方阵( $n×n$)，若存在 $n$阶方阵 $B$使得: $AB=BA=E$(单位矩阵)，则称 $A$是可逆的且矩阵 $B$是矩阵 $A$的逆矩阵，记为 $A^{-1} = B$

矩阵的秩

矩阵的秩等于行向量组或列向量组最大线性无关组所包含的向量的个数。(矩阵的所有不等于零的子式的最高阶数称为矩阵的秩)

矩阵的特征值和特征向量

设 $A$是 $n$阶矩阵，如果数 $\lambda$和 $n$维非零列向量 $x$使关系式
$Ax = \lambda x$
成立， $\lambda$称为方阵 $A$的特征值，非零向量 $x$称为 $A$的对应于特征值 $\lambda$的特征向量。

方阵 $A$的特征值，就是使齐次线性方程组 $(A-\lambda E)x = 0$有非零解的 $\lambda$值，
即满足方程 $|A-\lambda E |= 0$的 $\lambda$都是矩阵 $A$的特征值。

相似矩阵

设 $A,B$都是 $n$阶矩阵，若有可逆矩阵 $P$，使
$P^{-1}AP = B,$
则称 $B$是 $A$的相似矩阵，或说矩阵 $A$与 $B$相似。