1. 线性代数的两种认知
- 数值层面，这是大部分课程中的教学内容，能解决计算、应用问题。但却不是最本质的内容，它是在给定法则下的运算。
- 几何层面。这个角度的线性代数可能更为接近本质，能帮助我们更好的认识线性代数这个工具，更好的使用它，知道为什么用，用什么，而不是单纯的如何计算。
2. 什么是向量？
- 数值角度：它是一个有序的数值序列。
- 几何角度：它是空间中的一个带有指向的“箭头”。存在方向和长度。
以上两个观点是相互统一，可以互相转换的。而数学家给出的定义更为抽象，他们最终抽象出向量的两个关键运算：向量加法和向量数乘。只要加法和数乘两个运算有意义即可。
3. 线性组合、空间与基
- 任何向量可由它所处的空间中的基向量（这两个基向量是不共线不为0的向量，通常选用标准正交基）线性组合表示。如向量[3,2] = 3*x+2*y。
- 采用数值描述一个向量时严格依赖于当前使用的基。
- 基向量的全部线性组合构成的向量集合称为“张成的空间”。
- 线性相关：一组基向量，张成一个空间o，若移除这组基向量中的一个向量i，张成的空间o不变，那么就说这组基向量是线性相关的，说被移除的向量i可以被其他的向量线性表示。理解为向量i对于空间的张成没有贡献，是多余的。
- 线性无关：所有向量都给张成的空间增加了新的维度，那么就说这些向量是线性不相关的（linearly independent）。
4. 矩阵与线性变换
线性变换，Linear Tranformation。相当于一种函数效果，接收一个向量输入，得到一个向量输出。在几何空间中的可视化表达就是原向量转动、缩放得到输出向量。而线性变换就是这个转动与方所的过程。最终，这个过程可以通过一个矩阵来进行数值化的精确表达。
什么是线性变换？关键是线性，若不限制为线性，那么变换将会尤为复杂华丽。当限制为线性，就指定了两个规则。
- 直线变换后仍然为直线，不能弯曲。
- 远点固定不变。
总之，可以将线性变换看作一种“保持网格线平行且等距分布的变换”。
线性变换实际可以看成空间的基的变换。而其他所有向量都能用这组基线性表示，且变换前后线性表示的系数不变。即知道空间基向量变换后的坐标就能知道所有向量在这个变换后的情况。
矩阵：将上述空间基向量线性变换后的向量坐标用一个矩阵表示，如[x1,x2;y1,y2]，它的列向量分别表示两个基向量变换后的坐标。那么任意向量与这个矩阵的乘法（二维空间内）就是这个向量在这个矩阵描述的线性变换后的向量坐标。
若线性变换后的基向量线性相关，即矩阵的列向量相关，则原空间会被挤压丢失维度。
重要概念：矩阵是一种空间的线性变换，每一个列都看成原空间的一个基向量的变换后的坐标（向量）。
5. 矩阵乘法与线性变换复合
两个矩阵相乘，就是两个矩阵所表示的线性变换的复合变换。注：这种理解下，矩阵乘法的分步变换应该从右到左进行，即第二个被乘矩阵对应第一次线性变换，第一个乘数是第二次线性变换。
两个矩阵相乘的结果就是，原空间坐标系（对应为一个单位矩阵E），在这两个矩阵所代表的线性变换之后的坐标。如M1*M2=M1*(M2*E)。即空间的基向量组先进行M2对应的线性变换，再进行M1对应的线性变换。
6. 三维空间下的线性变换
7. 行列式
行列式的几何意义：矩阵所对应的线性变换改变面积（体积）的比例。通常以基向量组构成的矩阵为研究对象。如二维下，基向量y（0，1）和x（1，0）构成了单位矩阵面积为1.进行线性变换，变换矩阵为[3,2;0,2]，即变换后x轴单位向量(1,0)变换到（3，0）.y轴单位向量变换到（2，2），变换后面积为6，是原面积的6倍。（注：在变换后的空间中，这是一个被均匀放大倾斜的空间，单位向量组成的图像不再是标准的面积为1的单位矩形，而是一个面积为6的单位平行四边形，且空间内所有的区块都进行同等尺度的变换，这也是线性变换的特点，均匀，等尺度。）
1.特别的：当矩阵行列式为0，说明它将原空间线性变换后压缩为一条线或一个点（二维情况下），即使原空间维度降低。这也解释了为何矩阵列向量线性相关时，经过它的线性变换后，原空间发生维度衰减。它的行列式为0。
2.特别的：当行列式为负数，表示矩阵的线性变换将原空间的定向发生了改变，如平面翻转。更为直观的就是变换后坐标轴的相对位置发生了变换。（三维空间下，一般情况下建系是符合右手定则的，若线性变换后，任然满足右手定则，则行列式一定为正，若不能满足右手定则，即变成了左手定则，则称空间发生了定向改变，行列式为负）。但行列式的绝对值任然表示面积的缩放比例。
8. 逆矩阵、列空间、秩、零空间
首先考虑线性方程组，Ax=b，可理理解为，A是对原空间的一个线性变换，x为原空间中的一个向量，经过变换后变成了b向量。求原空间向量x。解法：寻找A的逆，思想是怎么变换过来的，就怎么变回去。A^-1^也是一种线性变换，当空间经过一个A变换，再经过一个A^-1^变换，应该还是原空间，即A^-1^*A的复合变换是一个恒等变换（空变换，没有发生改变），结果还是原空间，坐标轴还是(1,0),(0,1)，即结果是一个单位矩阵。
若A的变换将空间维度压缩了呢？即A的行列式为0又该如何？
此时A没有逆，即原空间经过线性变换A之后维度降低，变换不回去了，因为变换回去需要增加一个维度。但任然有可能有解。当x向量经过A变换后的b向量正好处于原空间降维后的空间，即x向量不依赖那个被衰减的维度，那么x还是有解的，否则无解，因为它依赖于一个无法还原的维度。
秩：秩代表矩阵对应的线性变换后空间的维数。如3x3的矩阵，若秩为2，表示这个矩阵对3维空间会进行压缩变换，压缩成为2维空间，一个平面。若秩为1，表示压缩更严重，压成一条线。秩为0，压成一个点。
矩阵的列空间：矩阵所对应的线性变换的所有可能的结果的集合（包含原空间及所有它的降维空间）。列空间就是矩阵的列所张成的空间（原空间——列不相关，降一维空间——一个列是其他列的线性组合，即相关）。
满秩：秩等于列向量个数。空间不会被压缩维度。
9. 非方程补充
一般矩阵，非方阵变换，不同维度空间之间的映射。
10. 点积
点积的数据计算：两个向量的点积结果是一个实数=各维值乘积和
点积的几何意义（投影）：两个向量点积等于，一个向量A在另一个向量B上的投影模长与B的模长的乘积。若投影反向，则乘积去负数。故点积与运算顺序无关。若AB垂直，结果为0.
强调一点：矩阵对于空间的转变都是线性变换。
点积的空间意义（线性变换）：原空间在矩阵A变换后退化为一条直线，那么原空间上的向量B在变换后变成了什么？这就是点积的意义。
- 这个说法符合点积的数值计算规则：通常求B在A变换后的结果，就是A*B，而矩阵A与向量B的乘法正好就是乘积和，只不过这里A变成了直线，可以直接采用向量而不是矩阵表示，将A转置就是它的向量矩阵表示。
- 这个说法符合投影的几何意义。原空间上，变换矩阵A将空间退化为一条直线，则与A垂直的B在这个变换后必定被便变换到原点，它的模长为0。
向量与线性变换的关系：通常矩阵表示一种空间的线性变换。而上述描述发现，向量也可以表示线性变换，但是是一种特殊的线性变换——退化空间，变为直线（这条直线就是数轴：一维空间的元素的全集）。此时变换矩阵就是一个向量。故这个向量所代表的线性变换（函数）有一个功能——可以将一个空间（如二维）向量经过变换后变成一个一维结果——实数。
点积的线性变换观点推导：
11. 叉积
叉积的几何意义（面积）：叉积x×y的意义是向量x与向量y围成的平行四边形的面积（2维空间）。而正负取决于x于y的向量位置关系。
说到面积，可以联系到之前提到的矩阵行列式的意义。行列式的意义就是矩阵作为空间的线性变换函数在这个变换后面积的变换比。原面积为1（正方形），变换后为平行四边形（一般情况，二维）。
故，叉积可以写成矩阵的行列式形式，不禁会问，叉积和矩阵（线性变换）有什么关系？
叉积的几何意义（向量）：叉积真正的意义其实是生成向量，两个向量的叉积结果其实并不是一个标量，而是一个向量。某种意义上来说它是一种空间的扩展。设x×y=z，其实是二维平面上的向量x和y叉积得到一个垂直xy平面的向量z，即原xy二维平面阔张到三维。而这个z的长度就是xy组成的平行四边形的面积，方向遵循右手定则（xyz右手定则）。
计算法则（关于叉积的更细节的理解略——没懂zZZ）：
12. 基变换
同一空间不同基的一个隐含条件是：坐标原点相同。
不同基向量下的任意向量表示：
对于A^-1^MA的理解
13. 特征值于特征向量（Eigen Values and Vectors）
定义：Ax=λxAx=λx
几何意义：原空间做线性变换A，存在一些向量x在这种变换A之后并没有发生向量的偏转，任然保持在原向量张成的空间中，仅做了缩放，且伸缩比为λλ.
求解：
- (A−λ)×x=0，即det(A−λ)=0(A−λ)×x=0，即det(A−λ)=0.考虑，显然x为零向量是这个等式恒成立，所以零向量是任意矩阵的特征向量。且符合几何意义，零向量在任意线性变换后仍然在零向量上，没有逃离其原向量张成的空间。
- 非零特征向量。若要x不为零向量，则det(A−λ)=0det(A−λ)=0。因为矩阵行列式表示该矩阵所代表的线性变换对原空间的缩放比（二维下是面积，三维为体积）。当行列式为0，即缩放比为0，表示该矩阵对应的线性变换使原空间发生了退化。假设矩阵[A−λ][A−λ] 使得原空间退化成一条直线，则原空间中存在与该直线垂直的向量族x，经过这个变换之后变为0向量，即变成原点。此时正好满足定义式(A−λ)×x=0(A−λ)×x=0。即这个x就是一个特征向量。
虚数特征值：有时det(A−λ)=0det(A−λ)=0无实数解，虚数解通常表示A是一种旋转变换矩阵，而选择情况下，必定没有任何向量能保留在其原空间中，必定发生偏转。
相似对角化：上一节得出一个结论。
相似矩阵就是同一空间同一线性变换在不同基坐标下的不同描述。（描述不同，本质相同，即相互转换的话结果是固定的。）
那么就有一个解决实际问题的捷径。当我们的空间进行一种变换的时候，在当前基坐标下（视角）不容易看清其结果（不容易计算）。我们可以转到另一个容易计算的基坐标下进行复杂的转变，最后再变换原来的基坐标即可。那么问题来了。哪种基坐标下容易看清线性变换呢？——当然是这种线性变换A所对应的特征向量组成的基啦（又是特征向量，又是基，称做特征基）。因为特征向量在这种线性变换下不会发生偏移，只会缩放，是一个对角矩阵，值为特征值描述缩放比。故假设原坐标系M要进行100次A线性变换，可以先求A的特征向量，用特征向量组组成新的基N。将M转换到特征基N下，进行100次变换，之后再转会M基即可。
重要结论
原坐标系中的线性变换A，在以A的特征向量组作为基的新坐标系下，该线性变换A变成了一种缩放新坐标系的线性变换B，且缩放比为特征值。
- 图中，变换矩阵A为[3 1; 0 2]，且其特征向量分别为[1,0]，[-1,1]，对应的特征值为3和2。则原坐标系进行A变换，在以特征向量组为基的新坐标系下，这个线性变换等同于[3 0 ; 0 2]，即简单的伸缩变换。
- 显然这种对角阵表示的伸缩线性变换更容易计算。
14. 抽象向量空间
什么是向量？箭头？坐标？有序数对?
将函数看作向量，它同样满足向量的定义。满足加法与数乘计算。那么对函数做线性变换呢？满足线性变换定义的函数变换都是线性函数变换，如导数算子。
线性变换保持向量加法运算和数乘运算。
向量是一种抽象定义，满足它的规则【8个公理】都可以认为是向量。
参考：