笔记：宾大《Algebra, Topology, Differential Calculus, and Optimization Theory For CS and ML》——第三章第五节

3.5 向量空间的基（bases）

在上一节中我们可以了解到，在一个向量空间 $E$ 中，任何一个其内的线性组合以及零向量的子空间都可以视为向量空间 $E$ 的子空间，所以我们可以使用这些线性组合来表示整个向量空间 $E$ ，但是这样会产生较大的冗余，而如何使用较少的、有效的向量表达整个向量空间就是一个亟待解决的问题。这里我们定义向量空间的基（base）这一定义。

定义 对于一个向量空间 $E$ 以及它的子集 $V$ ，带有索引的集合 $(v_i)_{i \in I}$ 对应于空间 $V$ 、向量 $v_i \in V$ 以及 $V$ 的线性组合等。对于每一个 $v \in V$ ， 这里有一些标量的带索引的集合 $(\lambda_i)_{i\in I} \in K$，存在
$v= \sum_{i\in I}\lambda_i v_i$
如果集合 $(v_i)_{i \in I}$ 是线性独立的，那么我们称其为向量空间 $V$ 下的一组基（basis）。同时如果 $E$ 的子集 $V$ 可以使用有限的 $(v_i)_{i \in I}$ 生成，那么我们称向量空间 $V$ 是可有限生成的（finitely generated）。

例子：

1. 在 $\R^3$ 中，向量 $(1,0,0),(0,1,0),(0,0,1)$ 就是此空间下的一组基。

2. 在 $\R^4$ 中，向量 $(1,1,1,1),(1,1,-1,-1),(1,-1,0,0),(0,0,1,-1)$ 是此空间下的一组基，我们称之为 Haar basis （哈尔基） ，在小波理论中，Haar basis及其推广到 $2^n$ 的维数是至关重要的。

3. 在最高次幂为 $n$ 的多项式 $\R[X]$ 的子空间内，是 $1,X,X^2,…,X^n$ 它的基。

4. Bernstein polynomial（伯恩斯坦多项式）是定义空间内的一组基，其表达形式为 $\left ( \begin{matrix} n\\k \end{matrix} \right )(1-X)^{n-k}X^k$ ，其中 $k=0,…,n$，这个多项式在样条曲线（spline curves）理论中起着重要作用 。

当然，每一个向量空间都有基，这也是线性代数的基石。下面我们从一个重要的引理开始，它形式化了逐步构建基的机制。

引理 对于给定向量空间的线性无关集 $(u_i)_{i \in I}$ ，如果 $v \in E$ 不是 $(u_i)_{i \in I}$ 的线性组合，那么可以通过将 $v$ 添加到 $(u_i)_{i \in I}$ 中可以得到一组线性独立集合，即 $(u_i)_{i \in I} \cap_k (v)$ ( $k \notin I$)。

定理 对于任何的有限集合 $S = (u_i)_{i \in I}$ 生成的向量空间 $E$ 以及任意的线性独立的子集 $L = (u_i)_{j \in J}$ (这里 $J \subseteq I$) ，那么对于 $E$ 的基 $B$ 存在 $L \subseteq B \subseteq S$。

当然，上面这个定理同样适用于非有限生成的向量空间，在这种情况下，要首先保证存在一个足够大的线性无关集合 $B$ ，也让其满足条件 $L \subseteq B \subseteq S$ 。这个足够大的线性无关集合可以找到，在Zorn’s lemma中有证明方法。

基的定义同样可以使用极大线性无关组和极小生成组来定义。

定义 我们令 $(v_i)_{i \in I}$ 是向量空间 $E$ 中的一个向量组，当 $(v_i)_{i \in I}$ 是线性独立时，我们说 $(v_i)_{i \in I}$ 是向量空间 $E$ 的一个极大线性无关组（maximal linearly independent family）。如果对于任意的向量 $w \in E$ ，向量组 $(v_i)_{i \in I} \cap_k (w)$ 是线性相关的。如果对于每一个索引 $p \in I$ 集合 $(v_i)_{i \in I-\{p\}}$由去除不属于 $E$ 的向量集 $(v_i)_{i \in I}$ 组成，那么我们说 $(v_i)_{i \in I}$ 是向量空间 $E$ 中的极小生成集（minimal generating family） 。

命题 对于向量空间 $E$ ，对于每一个在 $E$ 中的集合 $B = (v_i)_{i \in I}$ ，一下的性质是等价的：

• $B$ 是 $E$ 的一组基
• $B$ 是 $E$ 的极大线性无关组（maximal linearly independent family）
• $B$ 是 $E$ 的极小生成组（minimal generating family）

另外地，线性代数的关键结果是，对于向量空间 $E$ 的任意两个基 $(u_i)_{i \in I}$ 和 $(v_j)_{j \in J}$ ，索引集 $I$ 和 $J$ 有相同的基数。特别地，如果 $E$ 有一个有限的 $n$ 次的基，每一个 $E$ 的基都有 $n$ 个元素，每一个整数 $n$ 都是称为向量空间 $E$ 的维度（dimension）。

命题 替换引理 给定一个向量空间 $E$ ，令 $(u_1,…u_m)$ 为 $E$ 内的任意有限的线性无关集，并令 $(v_1,…,v_n)$ 为任意的有限簇，并且使每一个 $u_i$ 都是 $(v_1,…,v_n)$ 的线性组合。在这里，我们必须有 $n \ge m$ ， 而且使用 $(u_1,…,u_m)$ 替代 $v_j$ ，在重新命名了这些索引 $v_js$ 后，向量集 $(u_1,…u_m,v_{m+1},…,v_n)$ 和 $(v_1,…v_n)$ 可以生成相同的 $E$ 的子空间。

下面是一些说明替换引理的例子：

对于一个序列 $(u_1,u_2,u_3)$ 和 $(v_1,v_2,v_3,v_4,v_5)$ ，其中 $(u_1,u_2,u_3)$ 是一个线性独立集，并 $u_is$ 可以用 $v_js$ 代替为下列形式：
$u_1=v_4+v_5\\ u_2 = v_3+v_4-v_5\\ u_3 = v_1+v_2+v_3$
从第一个等式有
$v_4 = u_1-v_5$
将上式带入第二个等式有
$u_2= v_3+v_4-v_5=v_3+u_1-v_5-v_5=u_1+v_3-2v_5$
从上面的表达式我们可以得到
$v_3= -u_1+u_2+2v_5$
所以有
$u_3= v_1+v_2+v_3=v_1+v_2-u_1+u_2+2v_5$
所以最后我们有
$v_1=u_1-u_2+u_3-v_2-2v_5\\ v_3= -u_1+u_2+2v_5\\ v_4 = u_1-v_5$
从上面这个例子可以看出， $(u_1,u_2,u_3,v_2,v_5)$ 拥有和 $(v_1,v_2,v_3,v_4,v_5)$ 相同的子空间。即向量 $(v_1,v_3,v_4)$ 可以被 $(u_1,u_2,u_3)$ 所替代，剩下的两个向量为 $(v_2,v_5)$ ，我们可以将其重新命名为 $(v_4,v_5)$。

为了完整性，下面给出一个对于替换定理更加正式的定义（声明）：

替换定理2： 对于一个向量空间 $E$，令 $(u_i)_{i \in I}$ 为 $E$ 的任意的有限的线性独立集，其中 $|I| = m$，同时令 $(v_j)_{j \in J}$ 是一个有限集，并且每一个 $u_i$ 都是 $(v_j)_{j \in J}$ 的线性组合，其中 $|J| = n$。那么存在一个集合 $L$ 以及一个映射关系 $\rho:L \rarr J$ （一个重新标记函数） ，存在 $L \cap I= \emptyset$ ， $|L|=n-m$ ，那么集合 $(u_i)_{i \in I} \cup (v_{\rho(l)})_{l \in L}$ 和集合 $(v_j)_{j \in J}$ 可以生成相同的 $E$ 的子空间，当然 $n \ge m$ 。

实际上，当向量空间是用有限的向量生成时，上面的命题就包含了上面的定理，如果我们将两者结合起来，我们可以得到下面的基本定理（普适的）

定理 令 $E$ 为有限向量生成的向量空间。对于任意的生成 $E$ 的集合 $(u_i)_{i \in I}$ 都包括了一个子集 $(u_j)_{j \in J}$ ，其就是向量空间 $E$ 的基。对于任何线性独立的集合 $(u_i)_{i \in I}$ 可以扩展为 $(u_j)_{j \in J}$ （ $I \subseteq J$）。更进一步，对于每两个向量空间 $E$ 的基 $(u_i)_{i \in I}$ 和 $(u_j)_{j \in J}$ ，对于每一个固定的整数 $n \ge0$ ,我们都有 $|I| = |J| = n$ 。

上面的定理同样也适用于非有限向量生成的向量空间。

定义 当一个向量空间不是由有限的向量所能生成的，我们说它是无限维的。有限生成的向量空间的维（dimension）是其所有基的共同维数，用 $dim(E)$表示。

显然的，如果 $K$ 可以看作为一个向量空间，且每一个满足 $a \in K$以及 $a \ne 0$ 集 $(a)$ 都可以看为一组基 。那么其维度为1。

注意： $dim(\{0\}) = 0$。

定义 如果 $E$ 是一个维度 $n \ge 1$ 的向量空间，对于 $E$ 的任意子集 $U$ ，如果存在 $dim(U) =1$ ，那么称 $U$ 为线(line) ；同样，如果 $dim(U) =2$ ，那么称 $U$ 为平面(plane) ；如果 $dim(U) =n-1$ ，那么 $U$ 为超平面(hyperplane) ；特别地，如果 $dim(U) =k$ ，那么我们将 $U$ 称为 k-plane 。

如果 $(u_i)_{i \in I}$ 为向量空间 $E$ 的一组基，对于任意的向量 $v \in E$ ，由于向量集 $(u_i)_{i \in I}$ 可以构成向量空间 $E$ 中的任何一个向量，这样可以用一组标量组 $(\lambda_i)_{i \in I}$ 表示向量 $v$ ，即
$v=\sum_{i \in I} \lambda_iu_i$
注意对于确定的基和确定的向量，标量组 $(\lambda_i)_{i \in I}$ 是唯一的。所以我们可以直接得到下面这个结论：

对于给定的向量空间 $E$ , $(u_i)_{i \in I}$ 是 $E$ 中的一个向量集，令向量 $v \in E$ 并假设 $v=\sum_{i \in I} \lambda_iu_i$ 。当且仅当 $(u_i)_{i \in I}$ 线性独立时， 使得 $v=\sum_{i \in I} \lambda_iu_i$ 满足的标量组 $(\lambda_i)_{i \in I}$ 是唯一的。

定义 如果 $(u_i)_{i \in I}$ 是向量空间 $E$ 的一组基，对于任意的向量 $v \in E$ ，如果 $(x_i)_{i\in I}$ 唯一的标量组，使得
$v = \sum_{i \in I} x_iu_i$
每一个 $x_i$ 被叫做基于基 $(u_i)_{i \in I}$ 的索引 $i$ 的分量（component）或坐标（coordinate）。

定义 给定的一个空间 $K$ 和一些非空子集 $I$ ，令 $K^{(I)}$ 为包含有标量集 $(\lambda_i)_{i \in I}$ 定义下有限支撑的笛卡尔积（cartesian product） $K^I$ 的子集，在此我们可以定义加法和乘法如下：
$（\lambda_i)_{i \in I} + (\mu_i)_{i \in I }=（\lambda_i+\mu_i)_{i \in I}$

$\lambda \cdot(\mu_i)_{i \in I} = (\lambda\mu_i)_{i \in I}$

Note：当 $I$ 是一个有限集合， $K^{(I)} = K^I$ ，但是当 $I$ 为无限的集合时。实际上， $dim(K^{(I)})=|I|$ ，但是 $dim(K^I)$ 是严格大于当 $I$ 为有限时的维数的。

预告

矩阵