笔记：宾大《Algebra, Topology, Differential Calculus, and Optimization Theory For CS and ML》——第三章第六节

3.6 矩阵

下面，我们将精确地定义矩阵并介绍一些关于矩阵的运算。矩阵构成了一个向量空间，它具有结合律，但非交换律的乘法运算。

定义3.12 如果 $K=\R$ 或者 $K =C$ ，一个在 $K$ 上的 $m \times n$ 的矩阵maxtrix 是由 $K$ 上的标量簇 $(a_{ij})_{1 \le i \le m,1 \le j \le n}$ 组成的，其可以表达为如下形式：
$\left ( \begin{matrix} a_{11} & a_{12} & \cdots & a_{1n}\\ a_{21} & a_{22} & \cdots & a_{2n} \\ \vdots & \vdots & \ddots & \vdots \\ a_{m1} & a_{m2} & \cdots & a_{mn} \end{matrix} \right )$
特别地，如果 $m=1$ ，那么其为行向量（row vector），可以表达为：
$（a_{11}...a_{1n}）$
如果 $n=1$ ，那么其为列向量（column vector），可以表达为：
$\left ( \begin{matrix} a_{11}\\ a_{21} \\ \vdots \\ a_{m1} \end{matrix} \right )$
对于以上两种特殊情况，我们通常省略常量索引 $1$ (对于行是第一个索引，对于列是第二个索引)。整个的 $m \times n$ 矩阵，我们简记为 $M_{m,n}(K)$ 或者 $M_{m,n}$。特殊地，我们将 $n \times n$ 的矩阵称为维度为 $n$ 的方阵 (square matrix od dimension $n$ )，我们将其表示为 $M_n(K)$ 或者 $M_n$ 。

下面我们定义更多矩阵的运算：

定义3.13

对于两个 $m \times n$ 的矩阵 $A = (a_{ij})$ 和 $B =(b_{ij})$ ，我们定义他们的加法（sum）如下，即 $A+B = C=(c_{ij})$
$\left ( \begin{matrix} a_{11} & a_{12} & \cdots & a_{1n}\\ a_{21} & a_{22} & \cdots & a_{2n} \\ \vdots & \vdots & \ddots & \vdots \\ a_{m1} & a_{m2} & \cdots & a_{mn} \end{matrix} \right )+\left ( \begin{matrix} b_{11} & b_{12} & \cdots & b_{1n}\\ b_{21} & b_{22} & \cdots & b_{2n} \\ \vdots & \vdots & \ddots & \vdots \\ b_{m1} & b_{m2} & \cdots & b_{mn} \end{matrix} \right )=\left ( \begin{matrix} a_{11}+b_{11} & a_{12}+b_{12} & \cdots & a_{1n}+b_{1n}\\ a_{21}+b_{21} & a_{22}+b_{22} & \cdots & a_{2n}+b_{2n} \\ \vdots & \vdots & \ddots & \vdots \\ a_{m1}+b_{m1} & a_{m2}+b_{m2} & \cdots & a_{mn}+b_{mn} \end{matrix} \right )$
对于任意的矩阵 $A=(a_{ij})$ 和给定的标量 $\lambda \in K$ ，我们定义矩阵的标量乘法 $\lambda A$ 如下，即 $c_{ij} = \lambda a_{ij}$ :
$\lambda\left ( \begin{matrix} a_{11} & a_{12} & \cdots & a_{1n}\\ a_{21} & a_{22} & \cdots & a_{2n} \\ \vdots & \vdots & \ddots & \vdots \\ a_{m1} & a_{m2} & \cdots & a_{mn} \end{matrix} \right )=\left ( \begin{matrix} \lambda a_{11} & \lambda a_{12} & \cdots & \lambda a_{1n}\\ \lambda a_{21} & \lambda a_{22} & \cdots & \lambda a_{2n} \\ \vdots & \vdots & \ddots & \vdots \\ \lambda a_{m1} & \lambda a_{m2} & \cdots &\lambda a_{mn} \end{matrix} \right )$
对于 $m \times n$ 的矩阵 $A=(a_{ik})$ 以及 $n \times p$ 的矩阵 $B = (b_{kj})$ ，我们定义矩阵的乘法（product）如下，即 $AB=C_{m \times p}=(c_{ij})$：
$c_{ij} = \sum_{k=1}^n a_{ik}b_{kj}$
写成矩阵形式如下：
$\left ( \begin{matrix} a_{11} & a_{12} & \cdots & a_{1n}\\ a_{21} & a_{22} & \cdots & a_{2n} \\ \vdots & \vdots & \ddots & \vdots \\ a_{m1} & a_{m2} & \cdots & a_{mn} \end{matrix} \right )\left ( \begin{matrix} b_{11} & b_{12} & \cdots & b_{1n}\\ b_{21} & b_{22} & \cdots & b_{2n} \\ \vdots & \vdots & \ddots & \vdots \\ b_{m1} & b_{m2} & \cdots & b_{mn} \end{matrix} \right )=\left ( \begin{matrix} c_{11} & c_{12} & \cdots & c_{1n}\\ c_{21} & c_{22} & \cdots & c_{2n} \\ \vdots & \vdots & \ddots & \vdots \\ c_{m1} & c_{m2} & \cdots & c_{mn} \end{matrix} \right )$
Note：对于矩阵乘积 $AB$ ，可以表达为 $A$ 矩阵第 $i$ 列对应的行矩阵与 $B$ 矩阵第 $j$ 列对应的列矩阵的乘积，即：
$（a_{i1},...,a_{in})\left( \begin{matrix} b_{1j}\\ \vdots\\ b_{nj} \end{matrix} \right) = \sum^n_{k=1} a_{ik}b_{kj}$
定义3.14 对于对角线上为1，其他地方为0的方阵 $I_n$ 称其为单位矩阵（identity matrix），即
$I_n =\left ( \begin{matrix} 1 & 0 & \cdots & 0\\ 0 & 1 & \cdots & 0 \\ \vdots & \vdots & \ddots & \vdots \\ 0 & 0 & \cdots & 1 \end{matrix} \right )$
定义3.15 对于 $m \times n$ 的矩阵 $A =(a_{ij})$ ，其转置（transpose） $A^T=(a^T_{ji})$ 是一个 $n \times m$ 的矩阵，且对于所有的 $1 \le i \le m , 1 \le j \le n$ ，都有 $a^T_{ji} = a_{ij}$ 。我们有时也将其写为 $A^t$ 或者 $^tA$ 。例如 $5 \times 6$ 的矩阵 $A$ :
$A= \left ( \begin{matrix} 1&2&3&4&5&6\\ 7&1&2&3&4&5\\ 8&7&1&2&3&4\\ 9&8&7&1&2&3\\ 10&9&8&7&1&2 \end{matrix} \right )$
那么其转置的矩阵为 $A^T$ ，为 $6 \times 5$ 的矩阵：
$A^T =\left ( \begin{matrix} 1&7&8&9&10\\ 2&1&7&8&9\\ 3&2&1&7&8\\ 4&3&2&1&7\\ 5&4&3&2&1\\ 6&5&4&3&2 \end{matrix} \right )$
对于 $m \times n$ 的矩阵 $A=(a_{ik})$ 以及 $n \times p$ 的矩阵 $B = (b_{kj})$ ，如果我们将 $A$ 的列表示为 $A^1,…A^n$ 并把 $B$ 的行表示为 $B_1…,B_n$ ，那么矩阵的乘法可以表示为：
$AB=A^1B_1 +...+A^nB_n$
对于每一个 $n$ 维的方阵 $A$ ，必定有 $AI_n = I_nA=A$ 。

定义3.16 对于任何 $n$ 维的方阵 $A$，如果存在一个矩阵 $B$ ，使得 $AB=BA=I_n$，那么这个矩阵 $B$ 是唯一的，且我们将其称为矩阵 $A$ 的逆（inverse），也可以表示为 $A^{-1}$。可逆矩阵又被称为非退化矩阵、非奇异矩阵（nonsingular matrix），不可逆矩阵又被称为退化矩阵、奇异矩阵（singular matrix）。

定义3.17 对于一个 $m \times n$ 的矩阵 $E_{ij}=(e_{hk})$ ，其中 $e_{ij}=1,e_{hk}=0$ ( $h \ne i$ 或 $k \ne j$)，换句话说， $(i,j)$项等于1，其他项都是0 。下面是 $E_{ij}$ 的表达，其中 $m=2,n=3$：
$E_{11}=\left ( \begin{matrix} 1&0&0\\ 0&0&0 \end{matrix} \right ), E_{12}=\left ( \begin{matrix} 0&1&0\\ 0&0&0 \end{matrix} \right ), E_{13}=\left ( \begin{matrix} 0&0&1\\ 0&0&0 \end{matrix} \right )\\ E_{21}=\left ( \begin{matrix} 0&0&0\\ 1&0&0 \end{matrix} \right ), E_{22}=\left ( \begin{matrix} 0&0&0\\ 0&1&0 \end{matrix} \right ), E_{23}=\left ( \begin{matrix} 0&0&0\\ 0&0&1 \end{matrix} \right )$
每一个矩阵 $A=(a_{ij}) \in M_{m,n}(K)$ 都可以被表示为唯一的
$A=\sum_{i=1}^m\sum_{j=1}^na_{ij}E_{ij}$
所以联系3.5节，对于向量集 $(E_{ij})_{1 \le i\le m,1 \le j \le n}$ ，其为向量空间 $M_{m,n}(K)$的一组基，其维数为 $mn$ 。

性质3.13

（1）对于矩阵 $A\in M_{m,n}(K)，B \in M_{n,p}(K),C\in M_{p,q}(K)$ ，都有
$（AB）C =A(BC)$
即矩阵乘法的结合律（association）

（2）对于矩阵 $A,B\in M_{m,n}(K)$ 和 $C,D\in M_{n,p}(K)$ ，以及所有的 $\lambda \in K$ ，都有
$（A+B）C=AC+BC$

$A(C+D)=AC+AD$

$(\lambda A) C=\lambda(AC)$

$A(\lambda C) = \lambda (AC)$

即矩阵乘法是双线性的，即 $M_{m,n}(K) \times M_{n,p}(K) \rarr M_{m,p}(K)$ 。

实例：

对于这两个 $2\times 2$ 的矩阵 $A，B$：
$A=\left ( \begin{matrix} 1&0\\ 0&0 \end{matrix} \right ),B=\left ( \begin{matrix} 0&0\\ 1&0 \end{matrix} \right )$
对于 $AB$
$AB=\left ( \begin{matrix} 1&0\\ 0&0 \end{matrix} \right )\left ( \begin{matrix} 0&0\\ 1&0 \end{matrix} \right ) = \left ( \begin{matrix} 0&0\\ 0&0 \end{matrix} \right )$
对于 $BA$
$BA=\left ( \begin{matrix} 0&0\\ 1&0 \end{matrix} \right )\left ( \begin{matrix} 1&0\\ 0&0 \end{matrix} \right ) = \left ( \begin{matrix} 0&0\\ 1&0 \end{matrix} \right )$
从上面可以看出 $AB \ne BA$ ，且 $AB=0$ 时， $A,B$ 不一定为零矩阵。

预告

线性映射