【人工智能里的数学】线性代数基础

系列文章目录

【人工智能学习笔记】人工智能里的数学——概述
【人工智能里的数学】一元函数微分学
【人工智能里的数学】线性代数基础
【人工智能里的数学】多元函数微分学

---

---

前言

与软件开发相比，人工智能领域需要大量数学知识。主要涉及微积分、线性代数、概率论和最优化。
本文主要介绍线性代数基础。
本文作为我学习人工智能的笔记，主要供自己以后温故知新，在此梳理一遍也算是二次学习。如对您有所帮助，不甚荣幸。若所言有误，十分欢迎指正。如有侵权，请联系作者删除。

---

一、向量与其运算

向量是线性代数里面最基本的概念，它其实就是一维数组，由 N 个数构成的，
X = (X1 X2 . . Xn)
向量的几何意义就是空间中的点，物理意义速度或者力这样的矢量，

向量的分量我们称之为维度，n 维向量集合的全体就构成了 n 维欧式空间：

1.2 行向量和列向量

行向量是按行把向量排开，列向量是按列把向量排开

在数学中我们更多的把数据写成列向量，在编程语言中更多的把数据存成行向量。

1.3 向量的运算

向量的运算主要包含：加法，数乘，减法，内积，转置。下面我们一一列举：

1.3.1 向量的加减

等于它们的分量分别相加，显然两个向量的长度得是相等的，减法我们在这里不列举，很容易举一反三

1.3.2 向量的数乘运算

它是一个数和这个向量每个分量相乘

1.3.3 转置

把列向量变成行向量，把行向量变成列向量

1.3.4 运算法则

A+B+C=A+(B+C)
K*(X+Y)=KX+KY

1.3.5 向量的内积

两个列向量：

等于对应位置相乘再相加
两个向量的内积的本质是变成一个标量

1.4 向量的范数

范数的公式是向量每个分量绝对值P 次方再用幂函数计算P 分之一，这里P 肯定是整数
1，2，3…到正无穷都是可以的
向量的范数就是把向量变成一个标量，范数的表示就是两个竖线来表示，然后右下角写上P

1. 范数是绝对值加和，1 阶范数写成L1
   
2. 范数是平方加和开根号，其实代表的是向量的长度，高中时候学的向量的模，2 范数写成L2
   
   范数在后面是非常有用的，在后面讲正则项的时候会用到

1.5 特殊的向量

1.5.1 零向量

就是分量全为0 的向量
(0 0 . . 0)

1.5.2 单位向量

就是L2 范数/模/长度为1 的向量

二、矩阵与其运算

矩阵就是二维数组，上面是一个m 乘n 的矩阵，它有m 行，n 列，每行每列上面都有一个元素，每个元素都有行标i 和列标j，aij

2.1 方阵，对称矩阵，单位矩阵，对角线

2.1.1 方阵

方阵：下面介绍几种特殊的矩阵，如果m 等于n，那就称为方阵

2.1.2 对称矩阵

对称矩阵：定义是aij等于aji 那么就是对称矩阵，肯定是个方阵

2.1.3 单位矩阵

单位矩阵：主对角线都是1，其它位置是0，这称之为单位阵，单位矩阵写为I，一定是方阵，等同于数字里面的1

2.1.4 对角阵

对角阵：就是主对角线非0，其它位置是0

2.2 矩阵的运算

2.2.1 矩阵的加减

矩阵的加法就是矩阵的对应位置相加，减法也是一样就是对应位置相减

2.2.2 数乘

矩阵还有一种非常特殊的操作

2.2.3 转置

转置的操作和向量是一样的，就是把aij 变成aji，把行和列互换一下

2.2.4 矩阵的乘法

矩阵的乘法和一般的乘法是不太一样的
它是把第一个矩阵的每一行，和第二个矩阵的每一列拿过来做内积得到结果

满足分配律，结合律，和交换律
A+B+C=A+(B+C)
加法肯定是满足，重点看乘法
首先乘法是满足结合律的
(AB)C=A(BC)
满足分配律的，这里是左分配律，和右分配律
(A+B)C=AC+BC
A(B+C)=AB+AC
特别强调的是矩阵是不满足交换律的，不一定相等，甚至AB 的尺寸和BA 的尺寸是不同的
AB≠BA
还有一个特殊的转置的公式

2.3 逆矩阵

矩阵有AB，但是没有A/B 这么一说，只有逆矩阵
逆矩阵怎么定义的？
假设有个矩阵A，注意它一定是方阵，乘以矩阵B 等于I
AB=I
或者
BA=I
I 为单位矩阵，那么我们称这里的B 为A 的右逆矩阵，和左逆矩阵
有个很重要的结论就是，如果这样的B 存在的话，它的左逆和右逆一定相等，统称为A 的-1
矩阵求逆有什么用呢？它可以帮助我们解线性方程组，比如AZ=B
两边同时乘以A 的逆，那么Z=A 的-1 乘以B，它发明的目的也是干这样的事情用的
从这里我们也可以看出来单位矩阵像我们乘法里面的1
下面我们看一下公式：

2.4 行列式

行列式其实在机器学习中用的并不多，一个矩阵必须是方阵，才能计算它的行列式
行列式是把矩阵变成一个标量


前面讲的是行列式的计算方式，下面我们看下行列式的性质，当然这都是方阵而言的

数乘α，相当于α的n 次方乘以A 的行列式，因为刚才我们看计算方式的时候，相当于每一列都乘上了α所以是n 阶的嘛

---

总结

以上就是今天要讲的内容，本文仅仅简单介绍了线性代数的基础知识，属于大学数学中比较基础的知识点，后面会继续讲解线性代数的高级知识。