第二章 线性代数

专业名词

1. 奇异矩阵
   一个列向量线性相关的方阵称为奇异矩阵

2. $L^p$范数
   

   • 当 p = 2 时，L 2 范数被称为欧几里得范数.常写作$||x||$，省略了下标2.平方 L 2 范数也很常用，计算方便，但在原点附近增长得十分缓慢

     两个向量的点积（dot product）可以用范数来表示：

   • L1范数：问题中零和非零元素之间的差异非常重要时，通常会使用 L 1 范数。
     

   • 最大范数。这个范数表示向量中具有最大幅值的元素的绝对值
     

   • Frobenius范数。用于衡量矩阵大小
     

3. 特征向量
   

   • 性质1：如果 v 是 A 的特征向量，那么任何缩放后的向量 sv (s ∈ R，s ≠ 0) 也是 A 的特征向量。此外，sv 和 v 有相同的特征值。
   • 性质2：特征分解
     
     
   • 矩阵是奇异的当且仅当含有零特征值。

4. 行列式
   记作 det(A)，是一个将方阵 A 映射到实数的函数。行列式等于矩阵特征值的乘积。行列式的绝对值可以用来衡量矩阵参与矩阵乘法后空间扩大或者缩小了多少。如果行列式是 0，那么空间至少沿着某一维完全收缩了，使其失去了所有的体积。如果行列式是 1，那么这个转换保持空间体积不变。

奇异值分解

作用：最有用的一个性是拓展矩阵求逆到非方矩阵上。将矩阵A分解成三个矩阵的乘积：


注：奇异值是特征值的平方根！！

Moore-Penrose 伪逆

作用：尽管系数矩阵没有逆，方程组没有解，然而，找到一个最小化误差的近似值是有意义的。例如，使用伪逆找到一组数据点的最佳拟合线。
以下公式

（注：D对角线元素倒数，再转置）

---

性质：$A^{+}A\approx I_n$

迹运算

1. 迹运算返回的是矩阵对角元素的和
2. 用迹描述Frobenius范数：
   

主成分分析PCA