线性代数的本质学习笔记

线性代数的本质

视频：https://www.bilibili.com/video/BV1ys411472E

1、向量究竟是什么

物理解释：向量是空间中的箭头（长度、方向）

计算机解释：向量是有序的数字列表

点point (2, 3)

向量vector $\begin{bmatrix}2 \\ 3\end{bmatrix}$

线性代数围绕两种基本的运算：

向量加法与向量数乘

加法：位移结果

数轴Number line 加法
$\begin{aligned} &0\rightarrow 2+0\rightarrow3=0\rightarrow5\\&=>\\ &2 + 3 = 5 \end{aligned}$

扫描二维码关注公众号，回复： 11032143 查看本文章

向量加法
$\begin{bmatrix} x_1 \\ y_2 \end{bmatrix}+ \begin{bmatrix} x_2 \\ y_2 \end{bmatrix}= \begin{bmatrix} x_1 + x_2 \\ y_1 + y_2 \end{bmatrix}$

缩放：标量scalar * 向量
$2 * \begin{bmatrix} x \\ y \end{bmatrix}= \begin{bmatrix} 2x \\ 2y \end{bmatrix}$

2、线性组合、张成的空间、基

单位向量（基向量）

$\overrightarrow{i}$=(1,0), $\overrightarrow{j}$=(0,1)
$\begin{bmatrix} 1 & 0\\ 0 & 1 \end{bmatrix}$

缩放向量并且相加

$(3, 2)$ (i, j) -> $3i + 2j$

当使用数字描述向量时，都依赖于我们正在使用的基

线性组合：两个数乘向量的和被称为这两个向量的线性组合
$a\overrightarrow{v} + b\overrightarrow{w}$

$\overrightarrow{v}$ 与 $\overrightarrow{w}$ 全部线性组合构成的向量合称为“张成的空间”

单个向量看做箭头，多个向量看做点

线性相关 Linearly dependent：多个向量，移除其中一个不减小张成的空间

线性无关 Linearly independent：如果所有的向量都给张成的空间增加了新的维度

严格定义：

向量空间的一组基是张成该空间的一个线性无关向量集

3、矩阵与线性变换

变换 <=> 函数

矩阵看做是空间的变换

线性的条件：

1. 直线在变换后仍然保持为直线，不能有所弯曲

2. 原点必须保持固定

   两个点 (a, c)、(b, d)，矩阵的乘法

$\begin{bmatrix} a & b \\ c & d \end{bmatrix} \begin{bmatrix} x \\ y \end{bmatrix}= x\begin{bmatrix} a \\ c \end{bmatrix}+ y\begin{bmatrix} b \\ d \end{bmatrix}= \begin{bmatrix} ax + by \\ cx + dy \end{bmatrix}$

1、逆时针旋转90度

i=(1, 0), j=(0, 1) => (0, 1), (-1, 0)

A (2, 2) => (-2, 2)

$\begin{bmatrix} 0 & -1 \\ 1 & 0 \end{bmatrix} \begin{bmatrix} 2 \\ 2 \end{bmatrix}= \begin{bmatrix} -2 \\ 2 \end{bmatrix}$

2、剪切基向量对角线剪开

i=(1, 0), j=(0, 1) => (0, 1), (1, 1)

A (2, 2) => (2, 4)
$\begin{bmatrix} 0 & 1 \\ 1 & 1 \end{bmatrix} \begin{bmatrix} 2 \\ 2 \end{bmatrix}= \begin{bmatrix} 2 \\ 4 \end{bmatrix}$

4、矩阵乘法与线性变换复合

复合变换

旋转矩阵 + 剪切矩阵 => 复合矩阵
$\begin{bmatrix} 1 & 1 \\ 0 & 1 \end{bmatrix} ( \begin{bmatrix} 0 & -1 \\ 1 & 0 \end{bmatrix} \begin{bmatrix} x \\ y \end{bmatrix} )= \begin{bmatrix} 1 & -1 \\ 1 & 0 \end{bmatrix} \begin{bmatrix} x \\ y \end{bmatrix}$

矩阵乘法
$\begin{bmatrix} a & b \\ c & d \end{bmatrix} \begin{bmatrix} e & f \\ g & h \end{bmatrix}= \begin{bmatrix} ae + bg & af + bh \\ ce + dg & cf + dh \end{bmatrix} \\ \begin{bmatrix} a & b \\ c & d \end{bmatrix} \begin{bmatrix} e \\ g \end{bmatrix}= \begin{bmatrix} a \\ c \end{bmatrix} e + \begin{bmatrix} b \\ d \end{bmatrix} g= \begin{bmatrix} ae + bg \\ ce + dg \end{bmatrix} \\ \begin{bmatrix} a & b \\ c & d \end{bmatrix} \begin{bmatrix} f \\ h \end{bmatrix}= \begin{bmatrix} a \\ c \end{bmatrix} f + \begin{bmatrix} b \\ d \end{bmatrix} h= \begin{bmatrix} af + bh \\ cf + dh \end{bmatrix}$
不满足交换律 $NM \neq MN $

满足结合律 $A(BC) = (AB)C$

5、三维空间中的线性变换

三维空间中坐标x,y,z 对应基向量

$(\overrightarrow{i}, \overrightarrow{j}, \overrightarrow{k})$

$\begin{bmatrix} a & b & c \\ d & e & f \\ g & h & i \end{bmatrix} \begin{bmatrix} x\\ y\\ z \end{bmatrix}= \begin{bmatrix} a \\ d\\ g \end{bmatrix} x + \begin{bmatrix} b \\ e \\ h \end{bmatrix} y + \begin{bmatrix} c \\ f \\ i \end{bmatrix} z= \begin{bmatrix} ax & by & cz \\ dx & ey & fz \\ gx & hy & iz \end{bmatrix}$

6、行列式

缩放比例，线性变换改变面积的比例被称为这个变换的行列式

行列式为正

行列式为0 变换减少了空间的维度

行列式为负 变换改变了空间的定向
$det( \begin{bmatrix} 1 & 2\\ 1 & -1 \end{bmatrix} ) = -3$
右手定则

右手食指指向i-hat方向

右手中指指向j-hat方向

大拇指竖起来，指向k-hat方向

计算行列式
$det( \begin{bmatrix} a & b \\ c & d \end{bmatrix} )= (a+b)(c+d) -ac - bd - 2bc= ad - bc$

三阶行列式 （体积）
$det(\begin{bmatrix} a & b & c \\ d & e & f \\ g & h & i \end{bmatrix}) =a * det(\begin{bmatrix} e & f \\ h & i \end{bmatrix}) + b * det(\begin{bmatrix} d & f \\ g & i \end{bmatrix} + c * det(\begin{bmatrix} e & f \\ h & i \end{bmatrix})$

性质
$det(M_1M_2) = det(M_1)det(M_2)$

7、逆矩阵、列空间与零空间

线性方程组 $A\overrightarrow{x}=\overrightarrow{v}$
$\begin{cases} 2x + 5y + 3z = -3 \\ 4x + 0y + 8z = 0 \\ 1x + 3y + 0z = 2 \end{cases} => \begin{bmatrix} 2 & 5 & 3 \\ 4 & 0 & 8 \\ 1 & 3 & 0 \end{bmatrix} \begin{bmatrix} x \\ y \\ z \end{bmatrix}= \begin{bmatrix} -3 \\ 0 \\ 2 \end{bmatrix}$
逆变换： $A^{-1}$ 称为 A 的逆

恒等变换，什么都不做
$A^{-1}A$
逆矩阵Inverse matrices 存在时，可以用来求解方程组
$\begin{aligned} &A\overrightarrow{x}=\overrightarrow{v}\\ &A^{-1}A\overrightarrow{x}=A^{-1}\overrightarrow{v}\\ &\overrightarrow{x}=A^{-1}\overrightarrow{v} \end{aligned}$

秩 Rank ：变换后空间的维数

列空间 Column space：所有可能的变换结果集合

变换后基向量张成的空间，就是所有可能的结果

换句话说，列空间就是矩阵的列所张成的空间

秩是列空间的维数

满秩Full rank：秩与列数相等

列空间与方程组解的个数有关

矩阵的零空间 null space 变换后落在原点的向量的集合

8、非方阵

$A_{2\times3}$ 2维到3维变换
$\begin{bmatrix} 1 & 2 & 1\\ 1 & 0 & 2\\ \end{bmatrix} \begin{bmatrix} 2\\ 1\\ 0 \end{bmatrix}= \begin{bmatrix} 4\\ 2 \end{bmatrix}$

$A_{3\times2}$ 3维到2维变换
$\begin{bmatrix} 1 & 2\\ 1 & 0\\ -1 & 1 \end{bmatrix} \begin{bmatrix} 2\\ 1\\ \end{bmatrix}= \begin{bmatrix} 4\\ 2\\ -1 \end{bmatrix}$

9、点积和对偶性

两个向量点积（数量积/投影） $\overrightarrow{v} \cdot \overrightarrow{w}$

$\begin{bmatrix} 4\\ 1 \end{bmatrix} \cdot \begin{bmatrix} 2\\ -1 \end{bmatrix} =4 \times 2 + 1 \times (-1) = 7$

$\begin{bmatrix} 4\\ 1 \end{bmatrix}^T \begin{bmatrix} 2\\ -1 \end{bmatrix}= \begin{bmatrix} 4 & 1 \end{bmatrix} \begin{bmatrix} 2\\ -1 \end{bmatrix} =7$

10、叉积

平行边行的面积 $\overrightarrow{v} \times \overrightarrow{w} = - \overrightarrow{w} \times \overrightarrow{v}$
$\begin{bmatrix} 3\\ 1 \end{bmatrix} \times \begin{bmatrix} 2\\ -1 \end{bmatrix} =det( \begin{bmatrix} 3 & 2\\ 1 & -1 \end{bmatrix} )$

$3\overrightarrow{v} \times \overrightarrow{w} = 3(\overrightarrow{v} \times \overrightarrow{w})$

右手定则

食指 $\overrightarrow{v}$

中指 $\overrightarrow{w}$

拇指 $\overrightarrow{v} \times \overrightarrow{w}$
$\begin{bmatrix} v_1\\ v_2 \\ v_3 \end{bmatrix} \times \begin{bmatrix} w_1\\ w_2\\ w_3 \end{bmatrix} =det( \begin{bmatrix} i & v_1 & w_1\\ j & v_2 & w_2\\ k & v_3 & w_3 \end{bmatrix} ) \\ i(v_2w_3 - v_3w_2) + j(v_3w_1 - v_1w_3) + k(v_1w_2 - v_2w_1)$

11、基变换

$A \begin{bmatrix} x_i\\ y_i \end{bmatrix}= \begin{bmatrix} x_o\\ y_o \end{bmatrix} \\ \begin{bmatrix} x_i\\ y_i \end{bmatrix}= A^{-1} \begin{bmatrix} x_o\\ y_o \end{bmatrix}$

##12、特征向量与特征值

能够被A拉伸且保持方向不变的向量就是A的特征向量，拉伸的倍数就是特征值

特征值：每个特征向量都有一个所属的值，衡量特征向量在变换中拉伸或压缩比例的因子
$A\overrightarrow{v} = \lambda \overrightarrow{v}$
特征向量 $\overrightarrow{v}$

特征值 $\lambda$

左边是用矩阵A将向量 $\overrightarrow{v}$做了一个转换，右边是将向量拉伸了 $\lambda$ 倍。
$A\overrightarrow{v} = \lambda \overrightarrow{v} \\ A\overrightarrow{v} - \lambda \overrightarrow{v} = 0 \\ (A - \lambda I)\overrightarrow{v} = 0 \\ det(A - \lambda I) = 0$
对角矩阵

一组基向量（同样是特征向量）构成的集合被称为一组“特征基”

示例：求矩阵特征值,特征向量
$\begin{aligned} & A = \begin{bmatrix} -1 & 1 & 0 \\ -4 & 3 & 0 \\ 1 & 0 & 2 \\ \end{bmatrix} \\ \\ &求解：\\ &|A - \lambda E| = \begin{vmatrix} -1-\lambda & 1 & 0 \\ -4 & 3-\lambda & 0 \\ 1 & 0 & 2 -\lambda\\ \end{vmatrix} =(2 -\lambda) \begin{vmatrix} -1-\lambda & 1 \\ -4 & 3-\lambda \\ \end{vmatrix} \\ &=(2 - \lambda)\{(3 - \lambda)(-1 - \lambda) - (-4)\} \\ &=(2 - \lambda)(-3-3 \lambda+\lambda + \lambda^2 + 4)\\ &=(2 - \lambda)(\lambda^2 -2\lambda + 1)\\ &=(2 - \lambda)(\lambda - 1)^2 \\ \\ &特征值 \lambda = 2, 1 \\ \\ & 当 \lambda = 2 \\ & (A - 2 E)= 0 \\ &\begin{bmatrix} -3 & 1 & 0 \\ -4 & 1 & 0 \\ 1 & 0 & 0\\ \end{bmatrix}x =0 \\ &\begin{cases} -3x_1 + x_2 = 0\\ -4x_1 + x_2 = 0 \\ x_1= 0 &\end{cases} \\ &\begin{cases} x_2 = 0\\ x_1= 0 &\end{cases} \\ &P_1 =\begin{bmatrix} 0 \\ 0 \\ 1 \\ \end{bmatrix} \\ \\ & 当 \lambda = 1 \\ & (A - E)= 0 \\ &\begin{bmatrix} -2 & 1 & 0 \\ -4 & 2 & 0 \\ 1 & 0 & 1\\ \end{bmatrix}x =0 \\ &\begin{cases} -2x_1 + x_2 = 0\\ -4x_1 + 2x_2 = 0 \\ x_1 + x_3 = 0 &\end{cases} \\ &\begin{cases} x_2 = 2x_1\\ x_3 = -x_1 &\end{cases} \\ &P_2 =\begin{bmatrix} -1 \\ -2 \\ 1 \\ \end{bmatrix} \end{aligned}$

13、抽象向量空间

函数 f(x)
$$
f(x) + g(x)\

af(x)
$$
满足以下两条的变换是线性的

1、可加性 Additivity
$L(\overrightarrow{v} + \overrightarrow{w}) = L(\overrightarrow{v}) + L(\overrightarrow{w})$

2、成比例 scaling
$L(c\overrightarrow{v}) = cL(\overrightarrow{v}))$

线性代数	函数
线性变换	线性算子
点积	内积
特征向量	特征函数

向量加法和数乘
$\overrightarrow{u} + (\overrightarrow{v} + \overrightarrow{w}) = (\overrightarrow{u} + \overrightarrow{v}) + \overrightarrow{w} \\ \overrightarrow{v} + \overrightarrow{w} = \overrightarrow{w} + \overrightarrow{v}\\ 0 + \overrightarrow{v} = \overrightarrow{v} \\ \overrightarrow{v} + (-\overrightarrow{v}) = 0 \\ \\ a(b\overrightarrow{v}) = (ab)\overrightarrow{v} \\ 1\overrightarrow{v} = \overrightarrow{v} \\ a(\overrightarrow{v} + \overrightarrow{w}) = a\overrightarrow{v} + a\overrightarrow{w} \\ (a + b) \overrightarrow{v} = a\overrightarrow{v} + b\overrightarrow{v}$

克莱姆法则

$\begin{cases} 2x - 1y = 4 \\ 0x + 1y = 2 \end{cases} \\ \begin{bmatrix} 2 & -1\\ 0 & 1 \end{bmatrix} \begin{bmatrix} x\\ y \end{bmatrix}= \begin{bmatrix} 4\\ 2 \end{bmatrix} \\ x = \frac{Area}{det(A)} = \frac{ det( \begin{bmatrix} 4 & -1\\ 2 & 1 \end{bmatrix} ) } { det( \begin{bmatrix} 2 & -1\\ 0 & 1 \end{bmatrix} ) }=\frac{4+2}{2} =\frac{6}{2} =3 \\ y = \frac{Area}{det(A)} = \frac{ det( \begin{bmatrix} 2 & 4\\ 0 & 2 \end{bmatrix} ) } { det( \begin{bmatrix} 2 & -1\\ 0 & 1 \end{bmatrix} ) }=\frac{4}{2} =2$