矩阵 II : 线性组的线性相关性

学习机器学习, 基础的线性代数知识是必备的基础功, 对于线性代数的探索, 向量组也是线性代数的重要基础. 今天我们就开始学习一下线性代数中重要的向量组知识. 这是本人关于线性组的线性相关性的学习分享.

章节目录

相关性基本概念
1.1 相性相关和线性无关
1.2 相性相关性的判别定理
向量组的秩与极大无关组
2.1 秩与极大无关组
2.2 等价向量组
向量空间
3.1 向量空间的概念
3.2 正交基
3.3 基变换与坐标变换
3.4 线性方程组解的结构

本文是一篇包含大量枯燥数学知识的文章, 作者能力有限, 如果您在阅读过程中发现任何错误, 还请您务必联系本人,指出错误, 避免后来读者再学习错误的知识.谢谢!

本文也同时发布于我的个人博客, 欢饮访问.(文中超链接均指向本人的博客网站, 不想离开 CSDN 页面的读者慎点)

这里偷个懒, 就不介绍向量的基本定义了. 我们直入主题.不是很清楚向量基本概念的读者可以先熟悉一下相关知识.

相关性基本概念

相性相关和线性无关

设 $\alpha_1,\alpha_1,...,\alpha_m$ 均为 n 维向量, 如果存在一组数 $k_1,k_2,...,k_m$ 使

α = k_{1} α_{1} + k_{2} α_{2} + . . . + k_{m} α_{m}

$\alpha=k_1\alpha_1+k_2\alpha_2+...+k_m\alpha_m$

则称向量 $\alpha$ 是 $\alpha_1,\alpha_1,...,\alpha_m$ 的线性组合, 或者称向量 $\alpha$ 可由 $\alpha_1,\alpha_1,...,\alpha_m$ 的线性表示

判断向量 $\alpha$ 是否可由 $\alpha_1,\alpha_1,...,\alpha_m$ 线性表示的问题, 可以转化为判断非齐次线性方程组是否有解的问题. 其中 $\alpha$ 作为线性方程组的 b, $\alpha_1,\alpha_1,...,\alpha_m$ 作为线性方程组的对应系数, $k_1,k_2,...,k_m$ 作为未知数.

设 $\alpha_1,\alpha_1,...,\alpha_m$ 均为 n 维向量, 如果存在一组不全为零的数 $k_1,k_2,...,k_m$ 使

扫描二维码关注公众号，回复： 1929798 查看本文章

k_{1} α_{1} + k_{2} α_{2} + . . . + k_{m} α_{m} = 0

$k_1\alpha_1+k_2\alpha_2+...+k_m\alpha_m=0$

则称向量组 $\alpha_1,\alpha_1,...,\alpha_m$ 线性相关, 否则,称向量组 $\alpha_1,\alpha_1,...,\alpha_m$ 的线性无关

判断向量组是否线性相关的问题可以转化为判断齐次线性方程组是否有非零解的问题.

注意: 区分一下线性表示和相性相关:
线性表示是判断一组向量是否可以通过适当的线性组合表示另外一个向量.
线性相关是判断一组向量是否可以通过适当的线性组合表示成一个零向量.
注意线性相关定义中加粗的”不全为零”关键字. 线性相关要求组合时使用的系数不能全部为零, 而线性表示并没有这个要求.

相性相关性的判别定理

向量组 $\alpha_1,\alpha_1,...,\alpha_m (m\ge2)$ 线性相关的充分必要条件是至少其中一个向量可由其余 m-1 个向量线性表示.
证明:

必要性:

设 $\alpha_1,\alpha_1,...,\alpha_m$ 线性相关, 由定义知, 存在不全为零的一组数 $k_1,k_2,...,k_m$ , 使

$k_{1} α_{1} + k_{2} α_{2} + . . . + k_{m} α_{m} = 0$ $k_1\alpha_1+k_2\alpha_2+...+k_m\alpha_m=0$

不妨设 $k_1\neq0$ , 则有:

$α_{1} = (- \frac{k_{2}}{k_{1}} α_{2}) + (- \frac{k_{3}}{k_{1}} α_{3}) + . . . + (- \frac{k_{m}}{k_{1}} α_{m})$ $\alpha_1=(-\frac{k_2}{k_1}\alpha_2)+(-\frac{k_3}{k_1}\alpha_3)+...+(-\frac{k_m}{k_1}\alpha_m)$

即 $\alpha_1$ 可由 $\alpha_2,\alpha_3,...,\alpha_m$ 线性表示.

充分性:

不妨设 $\alpha_m$ 可由 $\alpha_1,\alpha_1,...,\alpha_{m-1}$ 线性表示, 由定义知, 存在一组数 $k_1,k_2,...,k_{m-1}$ , 使

$α_{m} = k_{1} α_{1} + k_{2} α_{2} + . . . + k_{m - 1} α_{m - 1}$ $\alpha_m=k_1\alpha_1+k_2\alpha_2+...+k_{m-1}\alpha_{m-1}$

即

$k_{1} α_{1} + k_{2} α_{2} + . . . + k_{m - 1} α_{m - 1} + (- 1) k_{m} α_{m} = 0$ $k_1\alpha_1+k_2\alpha_2+...+k_{m-1}\alpha_{m-1}+(-1)k_m\alpha_m=0$

因为 m 个数 $k_1,k_2,...,k_{m-1}, -1$ 不全为零, 所以 $\alpha_1,\alpha_1,...,\alpha_m$ 线性相关.

推论: 两个向量线性相关的充分必要条件是它们的对应分量成比例.

需要指出, 向量组 $\alpha_1,\alpha_1,...,\alpha_m$ 线性相关时, 一般不能肯定是哪个向量可由其他的向量线性表示, 更不能理解为其中的任一个向量都可以由其他向量线性表示

设向量组 $\alpha_1,\alpha_1,...,\alpha_m$ 线性无关, 而向量组 $\alpha_1,\alpha_1,...,\alpha_m,\beta$ 线性相关, 则向量 $\beta$ 可由 $\alpha_1,\alpha_1,...,\alpha_m$ 线性表示, 且表示唯一
证明:

由 $\alpha_1,\alpha_1,...,\alpha_m$ 线性相关可知存在不全为零的一组数 $k_1,k_2,...,k_m,k_{m+1}$ , 使

$k_{1} α_{1} + k_{2} α_{2} + . . . + k_{m} α_{m} + k_{m + 1} β = 0$ $k_1\alpha_1+k_2\alpha_2+...+k_m\alpha_m+k_{m+1}\beta=0$

假设 $k_{m+1}=0$ , 上式变为

$k_{1} α_{1} + k_{2} α_{2} + . . . + k_{m} α_{m} = 0$ $k_1\alpha_1+k_2\alpha_2+...+k_m\alpha_m=0$

此时 $k_1,k_2,...,k_m$ 全部为零, 得到 $\alpha_1,\alpha_1,...,\alpha_m$ 线性相关, 这与题设矛盾, 因此 $k_{m+1}\neq0$ , 于是有:

$β = (- \frac{k_{1}}{k_{m + 1}} α_{1}) + (- \frac{k_{2}}{k_{m + 1}} α_{2}) + . . . + (- \frac{k_{m}}{k_{m + 1}} α_{m})$ $\beta=(-\frac{k_1}{k_{m+1}}\alpha_1)+(-\frac{k_2}{k_{m+1}}\alpha_2)+...+(-\frac{k_m}{k_{m+1}}\alpha_m)$

再证唯一性. 设有两个表达式

$β = k_{1} α_{1} + k_{2} α_{2} + . . . + k_{m} α_{m}, β = l_{1} α_{1} + l_{2} α_{2} + . . . + l_{m} α_{m}$ $\beta=k_1\alpha_1+k_2\alpha_2+...+k_m\alpha_m, \qquad \beta=l_1\alpha_1+l_2\alpha_2+...+l_m\alpha_m$

两式相减, 可得:

$(k_{1} - l_{1}) α_{1} + (k_{2} - l_{2}) α_{2} + . . . + (k_{m} - l_{m}) α_{m} = 0$ $(k_1-l_1)\alpha_1+(k_2-l_2)\alpha_2+...+(k_m-l_m)\alpha_m=0$

因为 $\alpha_1,\alpha_1,...,\alpha_m$ 线性无关, 所以

$k_{1} - l_{1} = 0, . . ., k_{m} - l_{m} = 0$ $k_1-l_1=0, ..., k_m-l_m=0$

即 $k_1=l_1, ..., k_m=l_m$ , 故表达式唯一.

如果向量组的部分向量线性相关, 则这个向量组就线性相关.
推论1: 若向量组线性无关, 则其任一部分向量也线性无关.

设矩阵 $\mathsf{A}=(a_{ij})_{m*n}$ , 称

α_{i} = (α_{i 1}, (α_{i 2}, . . ., (α_{i n}), β_{j} = (α_{1 j}, (α_{2 j}, . . ., (α_{m j})^{T},

$\alpha_i=(\alpha_{i1},(\alpha_{i2},...,(\alpha_{in}), \qquad \beta_j=(\alpha_{1j},(\alpha_{2j},...,(\alpha_{mj})^T,$

分别为 $\mathsf{A}$ 的行向量和列向量.

设矩阵 $\mathsf{A}=(a_{ij})_{m*n}$ , 则:
(1) $\mathsf{A}$ 的行向量组线性相关的充分必要条件是 rank $\mathsf{A}\lt m$ ;
(2) $\mathsf{A}$ 的列向量组线性相关的充分必要条件是 rank $\mathsf{A}\lt n$ ;
证明:

考虑 $\mathsf{A}$ 的行向量组

$α_{i} = (α_{i 1}, (α_{i 2}, . . ., (α_{i n})$ $\alpha_i=(\alpha_{i1},(\alpha_{i2},...,(\alpha_{in})$

设一组数 $k_1,k_2,...,k_m$ , 使

$k_{1} α_{1} + k_{2} α_{2} + . . . + k_{m} α_{m} = 0$ $k_1\alpha_1+k_2\alpha_2+...+k_m\alpha_m=0$

写成分量形式, 可得

${\begin{cases} a_{11} k_{1} + a_{21} k_{2} + . . . + a_{m 1} k_{m} = 0 \\ a_{12} k_{1} + a_{22} k_{2} + . . . + a_{m 2} k_{m} = 0 \\ . . . \\ a_{1 n} k_{1} + a_{2 n} k_{2} + . . . + a_{m n} k_{m} = 0 \end{cases}$ $\begin{cases} a_{11}k_1+a_{21}k_2+...+a_{m1}k_m=0\\ a_{12}k_1+a_{22}k_2+...+a_{m2}k_m=0\\ \qquad \qquad...\\ a_{1n}k_1+a_{2n}k_2+...+a_{mn}k_m=0\\ \end{cases}$

该方程组的系数矩阵为 $\mathsf{A^T}$ , 有定理(指向本人博客网站)可知, 该方程组有非零解的充分必要条件是 rank $\mathsf{A^T}\lt m$ , 也就是 rank $\mathsf{A}\lt m$ .

推论1: 设 $\mathsf{A}$ 是 n 阶方阵, 则 $\mathsf{A}$ 的行(列)向量组线性相关的充分必要条件是 det $\mathsf{A}=0$ .
推论2: 当 $m\gt n$ 时, n 维向量组 $\alpha_1,\alpha_2,...,\alpha_m$ 一定线性相关. (也就是说, 向量个数大于向量维数时, 向量组线性相关).

推论3: 设两个向量组

$\begin{aligned} (86) & T_{1} : α_{i} & = (α_{i 1}, α_{i 2}, . . ., α_{i r}) \\ (87) & T_{2} : β_{i} & = (α_{i 1}, α_{i 2}, . . ., α_{i r}, α_{i r + 1}, . . ., α_{i n}) \end{aligned}$ $\begin{align}T_1: \alpha_i&=(\alpha_{i1},\alpha_{i2},...,\alpha_{ir})\\ T_2: \beta_i&=(\alpha_{i1},\alpha_{i2},...,\alpha_{ir},\alpha_{i{r+1}},...,\alpha_{in})\end{align}$

则当向量组 $T_1$ 线性无关时, 向量组 $T_1$ 也线性无关.

证明:
构造两个矩阵

$\begin{aligned} (88) & A & = [\begin{matrix} α_{1} \\ α_{2} \\ ⋮ \\ α_{m} \end{matrix}] = [\begin{matrix} a_{11} & a_{12} & \dots & a_{1 r} \\ a_{21} & a_{22} & \dots & a_{2 r} \\ ⋮ & ⋮ & ⋱ & ⋮ \\ a_{m 1} & a_{m 2} & \dots & a_{m r} \end{matrix}] \\ (89) & B & = [\begin{matrix} β_{1} \\ β_{2} \\ ⋮ \\ β_{m} \end{matrix}] = [\begin{matrix} a_{11} & \dots & \dots & a_{1 r} & a_{1 r + 1} & \dots & a_{1 n} \\ a_{21} & \dots & \dots & a_{2 r} & a_{2 r + 1} & \dots & a_{2 n} \\ ⋮ & ⋮ & ⋮ & ⋮ & ⋮ & ⋱ & ⋮ \\ a_{m 1} & \dots & \dots & a_{m r} & a_{m r + 1} & \dots & a_{m n} \end{matrix}], > \end{aligned}$ $\begin{align} \mathsf{A}&= \begin{bmatrix} {\alpha_1}\\ {\alpha_2}\\ {\vdots}\\ {\alpha_m}\\ \end{bmatrix} = \begin{bmatrix} {a_{11}}&{a_{12}}&{\cdots}&{a_{1r}}\\ {a_{21}}&{a_{22}}&{\cdots}&{a_{2r}}\\ {\vdots}&{\vdots}&{\ddots}&{\vdots}\\ {a_{m1}}&{a_{m2}}&{\cdots}&{a_{mr}}\\ \end{bmatrix} \\ \mathsf{B}&= \begin{bmatrix} {\beta_1}\\ {\beta_2}\\ {\vdots}\\ {\beta_m}\\ \end{bmatrix} = \begin{bmatrix} {a_{11}}&{\cdots}&{\cdots}&{a_{1r}}&{a_{1{r+1}}}&{\cdots}&{a_{1n}}\\ {a_{21}}&{\cdots}&{\cdots}&{a_{2r}}&{a_{2{r+1}}}&{\cdots}&{a_{2n}}\\ {\vdots}&{\vdots}&{\vdots}&{\vdots}&{\vdots}&{\ddots}&{\vdots}\\ {a_{m1}}&{\cdots}&{\cdots}&{a_{mr}}&{a_{m{r+1}}}&{\cdots}&{a_{mn}}\\ \end{bmatrix}, \qquad > \end{align}$

易见, $\mathsf{A}$ 是 $\mathsf{B}$ 的子矩阵, 且 $\mathsf{A}$ 与 $\mathsf{B}$ 的行数相同. 由上述定理可知, 若 $T_1$ 线性无关, 则 rank $\mathsf{A}=m$ , 从而 rank $\mathsf{B}=m$ , 于是 $T_2$ 线性无关.

设 $\mathsf{A}$ 是 m*n 矩阵, 有以下结论:
(1) 若 $\mathsf{A}$ 中某个 r 阶子式 $\mathsf{D_r}\neq0$ , 则 $\mathsf{A}$ 中含 $\mathsf{D_r}$ 的 r 个行(列)向量线性无关.
(2) 若 $\mathsf{A}$ 中所有 r 阶子式等于 0, 则 $\mathsf{A}$ 的任意 r 个行(列)向量线性相关.

证明:

只证明列的情形.
(1) 设 $\mathsf{D_r}$ 位于 $\mathsf{A}$ 的 $i_1,i_2,...,i_r$ 列, 取这 r 个列向量 $\beta_{i_1},\beta_{i_2},...,\beta_{i_r}$ 构造 m*r 矩阵.

$B = (β_{i_{1}}, β_{i_{2}}, . . ., β_{i_{r}})$ $\mathsf{B}=(\beta_{i_1},\beta_{i_2},...,\beta_{i_r})$

由于 $\mathsf{B}$ 中有一个 r 阶子式 $\mathsf{D_r}\neq0$ , 所以 rank $\mathsf{B}=r$ , 有上一条定理可知 $\beta_{i_1},\beta_{i_2},...,\beta_{i_r}$ 线性无关.

(2) 任取 $\mathsf{A}$ 的 r 个列向量 $\beta_{i_1},\beta_{i_2},...,\beta_{i_r}$ , 并构成 m*r 矩阵 $\mathsf{B}$ (同上), 因为 rank $\mathsf{B}\le$ rank $\mathsf{A}\lt r$ , 有上一条定理可知, 向量组 $\beta_{i_1},\beta_{i_2},...,\beta_{i_r}$ 线性相关.

设有向量组 $T$ , 若:
(1) $T$ 中有 r 个向量 $\alpha_1,\alpha_2,...,\alpha_r$ 线性无关;
(2) $T$ 中的任意 r+1 个向量都线性相关, 则称 $\alpha_1,\alpha_2,...,\alpha_r$ 为向量组 $T$ 的一个极大线性无关向量组, 简称为极大无关组. 称数 r 为向量组 $T$ 的秩.

由定义可知, 如果向量组 $T$ 的秩为 r, 那么 $T$ 中任何 r 个线性无关的向量都可以作为 $T$ 的极大无关组.

设 $\mathsf{A}$ 是 m*n 矩阵, 且 rank $\mathsf{A}=r(\gt1)$ , 则 $\mathsf{A}$ 的行(列)向量组的秩等于 r; 若 $\mathsf{A}$ 中某个 r 阶子式 $\mathsf{D_r}\neq0$ , 则 $\mathsf{A}$ 中含 $\mathsf{D_r}$ 的 r 个行(列)向量是 $\mathsf{A}$ 的行(列)向量组的一个极大无关组.
证:

由 rank $\mathsf{A}=r$ 知, $\mathsf{A}$ 中至少有一个 r 阶子式 $\mathsf{D_r}\neq0$ , 且 $\mathsf{A}$ 中所有的 r+1 阶子式都等于 0. 根据前一条定理可知, $\mathsf{A}$ 中行 $\mathsf{D_r}$ 的 r 个行(列)向量相性相关. 且 $\mathsf{A}$ 中任意的 r+1 个行(列)向量线性无关.

设 $\mathsf{A}$ 是 m*n 矩阵, 有以下结论:
(1)若 $\mathsf{A} \xrightarrow{初等行变换} \mathsf{B}$ , 则 $\mathsf{A}$ 的任意 s 个列向量与 $\mathsf{B}$ 中对应的 s 个列向量有相同的线性相关性
(2)若 $\mathsf{A} \xrightarrow{初等列变换} \mathsf{C}$ , 则 $\mathsf{A}$ 的任意 s 个行向量与 $\mathsf{C}$ 中对应的 s 个行向量有相同的线性相关性
证明:

设 $\mathsf{A}=(\alpha_1,\alpha_2,...,\alpha_n), \mathsf{B}=(\beta_1,\beta_2,...,\beta_n)$ . 取 $\mathsf{A}$ 的 s 个列向量 $\alpha_{j_1},\alpha_{j_2},...,\alpha_{j_s}$ 及 $\mathsf{B}$ 中对应的 s 个列向量 $\beta_{j_1},\beta_{j_2},...,\beta_{j_s}$ , 由于 $\mathsf{A} \xrightarrow{初等行变换} \mathsf{B}$ , 所以

$(α_{j_{1}}, α_{j_{2}}, . . ., α_{j_{s}}) \overset{初等行变换}{\to} (β_{j_{1}}, β_{j_{2}}, . . ., β_{j_{s}})$ $(\alpha_{j_1},\alpha_{j_2},...,\alpha_{j_s}) \xrightarrow{初等行变换} (\beta_{j_1},\beta_{j_2},...,\beta_{j_s})$

从而线性方程组

$(α_{j_{1}}, α_{j_{2}}, . . ., α_{j_{s}}) [\begin{matrix} x_{1} \\ x_{2} \\ ⋮ \\ x_{s} \end{matrix}] = 0 与 (β_{j_{1}}, β_{j_{2}}, . . ., β_{j_{s}}) [\begin{matrix} x_{1} \\ x_{2} \\ ⋮ \\ x_{s} \end{matrix}] = 0$ $(\alpha_{j_1},\alpha_{j_2},...,\alpha_{j_s})\begin{bmatrix}{x_1}\\{x_2}\\{\vdots}\\{x_s}\\\end{bmatrix}=0 \qquad 与\qquad (\beta_{j_1},\beta_{j_2},...,\beta_{j_s})\begin{bmatrix}{x_1}\\{x_2}\\{\vdots}\\{x_s}\\\end{bmatrix}=0$

同解, 故向量组 $\alpha_{j_1},\alpha_{j_2},...,\alpha_{j_s}$ 与向量组 $\beta_{j_1},\beta_{j_2},...,\beta_{j_s}$ 有相同的线性相关性.

类似的, 可证明另一结论.

等价向量组

设有两个 n 维向量组

T_{1} : α_{1}, α_{2}, . . ., α_{r}; T_{2} : β_{1}, β_{2}, . . ., β_{s};

$T_1:\alpha_1,\alpha_2,...,\alpha_r;\qquad T_2:\beta_1,\beta_2,...,\beta_s;$

如果 $\alpha_i$ 可由 $\beta_1,\beta_2,...,\beta_s$ 线性表示, 则称向量组 $T_1$ 可由向量组 $T_2$ 线性表示; 如果方程组 $T_1$ 与向量组 $T_2$ 可以互相线性表示则称向量组 $T_1$ 与向量组 $T_2$ 等价.

注意: 这里只需要是线性表示即可, 未要求相性相关.

向量组与它的任意一个极大无关组等价
证明:

设向量组 $T$ 的一个极大无关组为 $T_1:\alpha_1,\alpha_2,...,\alpha_r$ , 因为 $T_1$ 是 $T$ 的一个部分组, 所以 $T_1$ 可由 $T$ 线性表示.
另一方面, 对于 $T$ 中的任一向量 $\alpha$ , 当 $\alpha$ 在 $T_1$ 中时, $\alpha$ 可由 $T_1$ 表示.当 $\alpha$ 不在 $T_1$ 中时, 由于 $\alpha_1,\alpha_2,...,\alpha_r,\alpha$ 是 $T$ 中 r+1 个向量, 所以线性相关,由定理知, $\alpha$ 可由 $T_1$ 线性表示. 因此 $T$ 可由 $T_1$ 线性表示, 故 $T$ 与 $T_1$ 等价.

推论: 向量组的任意两个极大无关组等价.

设有两个 n 维向量组

$T_{1} : α_{1}, α_{2}, . . ., α_{r}; T_{2} : β_{1}, β_{2}, . . ., β_{s};$ $T_1:\alpha_1,\alpha_2,...,\alpha_r;\qquad T_2:\beta_1,\beta_2,...,\beta_s;$

若 $T_1$ 线性无关, 且 $T_1$ 可由 $T_2$ 线性表示, 则 $r\le s$ .

向量空间

向量空间的概念

设 $V$ 为非空的 n 维实向量集合, 如果对向量的加法运算和数乘运算满足:
(1) 对任意 $\alpha \in V, \beta \in V$ , 有 $\alpha+\beta \in V$ (称为对加法封闭)
(2) 对任意 $\alpha \in V, k \in R$ , 有 $k\alpha \in V$ (称为对数乘封闭)
则称集合 $V$ 为向量空间.

向量 $\alpha_1,\alpha_2,...,\alpha_m$ 生成的向量空间, 记作 $L(\alpha_1,\alpha_2,...,\alpha_m)$ .

设有两个 n 维向量集合 $V_1$ 和 $V_2$ , 如果 $V_1 \subset V_2$ , 且 $V_1$ 与 $V_2$ 都是向量空间, 则称 $V_1$ 是 $V_2$ 的子空间.

设 $V$ 为向量空间, 若
(1) $V$ 中有 r 个向量 $\alpha_1,\alpha_2,...,\alpha_r$ 线性无关;
(2) $V$ 中任一向量 $\alpha$ 都可由 $\alpha_1,\alpha_2,...,\alpha_r$ 线性表示,
则称 $\alpha_1,\alpha_2,...,\alpha_r$ 为 $V$ 的一个基, 称数 r 为 $V$ 的维数, 记作 dim $V$ , 即 dim $V=r$ .

设向量空间 $V$ 的一个基为 $\alpha_1,\alpha_2,...,\alpha_r$ , 对 $\alpha \in V$ , 有

α = x_{1} α_{1} + x_{2} α_{2} + . . . + x_{r} α_{r}

$\alpha=x_1\alpha_1+x_2\alpha_2+...+x_r\alpha_r$

称数组 $(x_1,x_2,...,x_r)^T$ 为向量 $\alpha$ 在基 $\alpha_1,\alpha_2,...,\alpha_r$ 下的坐标.

正交基

设向量空间 $V$ 的一个基为 $\alpha_1,\alpha_2,...,\alpha_r$ , 如果

[α_{i}, α_{j}] = 0, i \neq j

$[\alpha_i,\alpha_j]=0, i \neq j$

则称 $\alpha_1,\alpha_2,...,\alpha_r$ 为 $V$ 的正交基. 如果还有

‖ α_{i} ‖ = 1

$\Vert \alpha_i \Vert = 1$

则称 $\alpha_1,\alpha_2,...,\alpha_r$ 为 $V$ 的标准正交基.

下面介绍从向量空间 $V$ 的一个基出发, 构造 $V$ 的一个正交基的施密特(Schmidt)正交化方法.

设 $V$ 的一个基为 $\alpha_1,\alpha_2,...,\alpha_r$ , 令

\begin{aligned} (5) & β_{1} & = α_{1} \\ (6) & β_{2} & = α_{2} + k_{1} β_{1} \end{aligned}

$\begin{align} \beta_1&=\alpha_1\\ \beta_2&=\alpha_2+k_1\beta_1\\ \end{align}$

要求 $[\beta_2,\beta_1]=0$ , 可得 $k_{21}=-\frac{[\alpha_2,\beta_1]}{[\beta_1,\beta_1]}$ , 显然 $\beta_2\neq0$ ,否则 $\alpha_1,\alpha_2$ 线性相关, 产生矛盾. 再令

β_{3} = α_{3} + k_{32} β_{2} + k_{31} β_{1}

$\beta_3=\alpha_3+k_{32}\beta_2+k_{31}\beta_1$

要求 $[\beta_3,\beta_j]=0 (j=1,2)$ , 可得 $k_{3j}=-\frac{[\alpha_3,\beta_j]}{[\beta_j,\beta_j]}$ , 同理可知 $\beta_3\neq0$ , 如此下去……,最后令

β_{r} = α_{r} + k_{r, r - 1} β_{r - 1} + . . . + k_{r 1} β_{1}

$\beta_r=\alpha_r+k_{r,{r-1}}\beta_{r-1}+...+k_{r1}\beta_1$

要求 $[\beta_r,\beta_j]=0 (j=1,2,...,r-1)$ , 可得 $k_{rj}=-\frac{[\alpha_r,\beta_j]}{[\beta_j,\beta_j]}$ , 同理可知 $\beta_r\neq0$ , 于是得到:
(1) $\beta_1,\beta_2,...,\beta_r$ 是两两正交的非零向量, 从而线性无关
(2) $\beta_1,\beta_2,...,\beta_r$ 与 $\alpha_1,\alpha_2,...,\alpha_r$ 等价, 从而 $\beta_1,\beta_2,...,\beta_r$ 是 $V$ 的一个正交基.
(3) 令 $\gamma_i=\frac{1}{\Vert \beta_i \Vert}\beta_i$ , 可得 $V$ 的一个标准正交基 $\gamma_1,\gamma_2,...,\gamma_r$ .

基变换与坐标变换

设向量空间 $V$ 的两个基为

(I) : α_{1}, α_{2}, . . ., α_{r}; (I I) : β_{1}, β_{2}, . . ., β_{r}

$(I):\alpha_1,\alpha_2,...,\alpha_r;\qquad (II):\beta_1,\beta_2,...,\beta_r$

由于基(II)可由基(I)线性表示, 所以有

{\begin{cases} β_{1} = c_{11} α_{1} + c_{21} α_{2} + . . . + c_{r 1} α_{r} \\ β_{2} = c_{12} α_{1} + c_{22} α_{2} + . . . + c_{r 2} α_{r} \\ . . . \\ β_{r} = c_{1 r} α_{1} + c_{2 r} α_{2} + . . . + c_{r r} α_{r} \end{cases}

$\begin{cases} \beta_1=c_{11}\alpha_1+c_{21}\alpha_2+...+c_{r1}\alpha_r\\ \beta_2=c_{12}\alpha_1+c_{22}\alpha_2+...+c_{r2}\alpha_r\\ \qquad \qquad...\\ \beta_r=c_{1r}\alpha_1+c_{2r}\alpha_2+...+c_{rr}\alpha_r\\ \end{cases}$

令矩阵 $\mathsf{C}=(c_ij)_{r*r}$ , 称 $\mathsf{C}$ 为由基(I)到基(II)的过渡矩阵.

上式又可写为

(β_{1}, β_{2}, . . ., β_{r}) = (α_{1}, α_{2}, . . ., α_{r}) C

$(\beta_1,\beta_2,...,\beta_r)=(\alpha_1,\alpha_2,...,\alpha_r)\mathsf{C}$

称上式为由基(I)到基(II)的基变换公式.

过渡矩阵是可逆的.
证明略.(有兴趣的读者可以自己研究一下:))

线性方程组解的结构

通过之前两篇线性代数的文章(行列式,矩阵I)中提到的, 我们已经得到以下结论:
(1) 若 $\mathsf{(A|b)} \xrightarrow{初等行变换} \mathsf{B|d}$ , 则 $\mathsf{A}x=b$ 与 $\mathsf{B}x=d$ 同解.
(2) $\mathsf{A}x=0$ 有非零解的充分必要条件是 rank $\mathsf{A}\lt n$ .(n为矩阵的列数).
(3) $\mathsf{A}x=b$ 有解的充分必要条件是 rank $\mathsf{A}=$ rank $\mathsf{\hat A}$ .
(4) 设 rank $\mathsf{A}=$ rank $\mathsf{\hat A}=r$ , 即 $\mathsf{A}x=b$ 有解, 则 $r=n$ 时, $\mathsf{A}x=b$ 有唯一解; $r \lt n$ 时, $\mathsf{A}x=b$ 有无穷多解;

齐次线性方程组

构造线性方程组的解向量集合

S = {x | A x = 0, x \in R^{n}}

$S=\{x|\mathsf{A}x=0, x \in R^n\}$

因为 $0 \in S$ , 所以 $S$ 非空. 当 $x \in S, y \in S, k \in R^n$ 时, 由 $\mathsf{A}(x+y)=\mathsf{A}x+\mathsf{A}y=0$ 及 $\mathsf{A}(kx)=k(\mathsf{A}x)=0$ 知 $x+y \in S, kx \in S$ . 因此, $S$ 是向量空间, 称之为齐次线性方程组的解空间, $S$ 的基称为齐次线性方程组的基础解系.

设 rank $\mathsf{A}=r \lt n$ , 且不妨设齐次线性方程组的通解为

{\begin{cases} \begin{aligned} (7) & x_{1} & = - b_{1, r + 1} k_{1} - b_{1, r + 2} k_{2} - . . . - b_{1, n} k_{n - r}, \\ (8) & . . . & = . . . \\ (9) & x_{r} & = - b_{r, r + 1} k_{1} - b_{r, r + 2} k_{2} - . . . - b_{r, n} k_{n - r}, \\ (10) & x_{r + 1} & = k_{1}, \\ (11) & x_{r + 2} & = k_{2}, \\ (12) & . . . & = . . . \\ (13) & x_{n} & = k_{n - r} \end{aligned} \end{cases}

$\begin{cases}\begin{align} x_1&=-b_{1,{r+1}}k_1-b_{1,{r+2}}k_2-...-b_{1,n}k_{n-r}, \\ ...&=... \\ x_r&=-b_{r,{r+1}}k_1-b_{r,{r+2}}k_2-...-b_{r,n}k_{n-r}, \\ x_{r+1}&=k_1, \\ x_{r+2}&=k_2, \\ ...&=... \\ x_n&=k_{n-r} \\ \end{align}\end{cases}$

其中 $k_1,k_2,...,k_{n-r}$ 为任意实数, 依次取

[\begin{matrix} k_{1} \\ k_{2} \\ ⋮ \\ k_{n - r} \end{matrix}] = [\begin{matrix} 1 \\ 0 \\ ⋮ \\ 0 \end{matrix}], [\begin{matrix} 0 \\ 1 \\ ⋮ \\ 0 \end{matrix}], \dots, [\begin{matrix} 0 \\ 0 \\ ⋮ \\ 1 \end{matrix}]

$\begin{bmatrix}k_1\\k_2\\{\vdots}\\k_{n-r}\\\end{bmatrix}=\begin{bmatrix}1\\0\\{\vdots}\\0\\\end{bmatrix},\begin{bmatrix}0\\1\\{\vdots}\\0\\\end{bmatrix},\cdots,\begin{bmatrix}0\\0\\{\vdots}\\1\\\end{bmatrix}$

可得齐次线性方程组的 n-r 个解向量

ξ_{1} = [\begin{matrix} - b_{1, r + 1} \\ ⋮ \\ - b_{r, r + 1} \\ 1 \\ 0 \\ ⋮ \\ 0 \end{matrix}], ξ_{2} = [\begin{matrix} - b_{1, r + 2} \\ ⋮ \\ - b_{r, r + 2} \\ 0 \\ 1 \\ ⋮ \\ 0 \end{matrix}], \dots, ξ_{n - r} = [\begin{matrix} - b_{1 n} \\ ⋮ \\ - b_{r n} \\ 0 \\ 0 \\ ⋮ \\ 1 \end{matrix}]

$\xi_1=\begin{bmatrix}{-b_{1,{r+1}}}\\{\vdots}\\{-b_{r,{r+1}}}\\1\\0\\{\vdots}\\0\\\end{bmatrix}, \xi_2=\begin{bmatrix}{-b_{1,{r+2}}}\\{\vdots}\\{-b_{r,{r+2}}}\\0\\1\\{\vdots}\\0\\\end{bmatrix}, {\cdots}, \xi_{n-r}=\begin{bmatrix}{-b_{1n}}\\{\vdots}\\{-b_{rn}}\\0\\0\\{\vdots}\\1\\\end{bmatrix}$

于是,通解又可写为

x = k_{1} ξ_{1} + k_{2} ξ_{2} + . . ., + k_{n - r} ξ_{n - r}

$x=k_1\xi_1+k_2\xi_2+...,+k_{n-r}\xi_{n-r}$

上式表明, 方程组的任意解向量都可以由 $\xi_1,\xi_2,..,\xi_{n-r}$ 线性表示, 又向量组 $\xi_1,\xi_2,..,\xi_{n-r}$ 线性无关, 所以 $\xi_1,\xi_2,..,\xi_{n-r}$ 是解空间 $S$ 的一个基, 也就是齐次线性方程组的一个基础解系. 于是解空间的维数 dim $V=n-r$ , 即基础解系中所包含的解向量个数, 等于线性方程组中未知数的个数减去系数矩阵的秩.

非齐次线性方程组

当非齐次线性方程组 $\mathsf{A}x=b$ 有解时, 设 $\eta^*$ 是它的一个解向量(称为特解), $\eta$ 是它的任一解, 由于

A (η - η^{*}) = A η - A η^{*} = b - b = 0

$\mathsf{A}(\eta-\eta^*)=\mathsf{A}\eta-\mathsf{A}\eta^*=b-b=0$

所以 $\eta-\eta^*$ 是对应的其次方程组 $\mathsf{A}x=0$ 的解. 从而可由 $\mathsf{A}x=0$ 的基础解系线性表示, 即

η - η^{*} = k_{1} ξ_{1} + k_{2} ξ_{2} + . . ., + k_{n - r} ξ_{n - r}

$\eta-\eta^*=k_1\xi_1+k_2\xi_2+...,+k_{n-r}\xi_{n-r}$

也即

η = η^{*} + k_{1} ξ_{1} + k_{2} ξ_{2} + . . ., + k_{n - r} ξ_{n - r}

$\eta=\eta^*+k_1\xi_1+k_2\xi_2+...,+k_{n-r}\xi_{n-r}$

其中 $k_1,k_2,...,k_{n-r}$ 为任意实数, 另外易验证上式右端向量是 $\mathsf{A}x=b$ 的解向量, 故上式给出了 $\mathsf{A}x=b$ 的通解.

上式表明, 非齐次线性方程组 $\mathsf{A}x=b$ 的通解可以表示为它的一个特解与对应的齐次线性方程组 $\mathsf{A}x=0$ 的通解之和.

到此为止, 我学习分享就结束了. 读完之后, 有任何看法见解, 欢迎与我分享. 谢谢!