1、向量点积（內积）

如果A和B都是 $n$ 维向量，可以这样定义点积： $A·B=\sum_{i=1}^na_ib_i$ 点积的结果就是标量；

点积的几何意义是A和B的模乘以二者的夹角余弦函数，如下图所示：
在这里插入图片描述
$A·B==|A||B|·cos\theta$
点积的意义就是测量两个向量同向的程度，值越大表示两者的方向越趋向相同；

点积的概念来源于解析几何中的內积。向量点积的意义比较重要，在推荐系统中我们可以对物品或者人进行向量化，得到物品或者人的向量，这样就可以计算距离、计算相似的人或者物品，由此还可以进行后面的机器学习优化计算。

2、余弦相似度

通过向量的点积公式可以看出，计算两个向量的点积，其实就是在计算两个向量的相似度，其公式如下所示： $\theta=\frac{A·B}{||A||*||B||}$ 余弦相似度的取值范围为[-1,1]，值越大表示越相似。

3、向量叉乘（外积）

两个向量的叉乘又叫向量积、外积、叉积，叉乘的运算结果是一个向量而不是一个标量，并且两个向量的叉乘结果与这两个向量组成的坐标平面垂直。

对于向量a和向量b： $a = (x_1,y_1,z_1)$ $b=(x_2,y_2,z_2)$ a和b的叉乘公式如下： $a\times b=\begin{vmatrix} i & j & k\\ x_1 &y_1 &z_1 \\ x_2 &y_2 &z_2 \end{vmatrix}=(y_1z_2-y_2z_1)i-(x_1z_2-x_2z_1)j+(x_1y_2-x_2y_1)k$ 其中 $i = (1, 0, 0), j = (0, 1, 0), k = (0, 0, 1)$ 根据 $i, j, k$ 间的关系，有 $a\times b=((y_1z_2-y_2z_1),-(x_1z_2-x_2z_1),(x_1y_2-x_2y_1))$ 在三维几何中，向量a和向量b的叉乘结果是一个向量，该向量更为人所熟知的名字是法向量，该向量垂直于a向量和b向量构成的平面。

在3D图像学中，叉乘的概念非常重要，可以通过两个向量的叉乘来生成第3个垂直于a、b的法向量，从而构建X、Y、Z坐标系，如下图所示：
在这里插入图片描述
其中： $\times b|=|a||b|sin\theta$ 根据三角函数公式， $|a|sin\theta$ 就是a向量垂直于b向量的长度，所以向量叉乘的意义是测量两个向量的垂直程度。

4、矩阵乘法

矩阵相乘也就是矩阵的乘法操作，要求左矩阵的列数和右矩阵的行数一致；

$M\times K$ 维矩阵乘以 $K\times N$ 维矩阵，其结果矩阵大小为 $M\times N$ 。其中，结果矩阵第 $i$ 行第 $j$ 列的值等于第1个矩阵第 $i$ 行的向量与第2个矩阵第j列的向量2进行点积计算得到的一个标量值，如下所示： $\begin{bmatrix} 1 & 2 & 3\\ ?& ? & ? \end{bmatrix}\times\begin{bmatrix} 7 & ?\\ 9 & ?\\ 11 & ? \end{bmatrix} = \begin{bmatrix} 58 & ?\\ ? & ? \end{bmatrix}$

5、矩阵点乘

矩阵点乘要求矩阵必须维数相同，即 $M\times N$ 维矩阵点乘 $M\times N$ 维矩阵，其结果矩阵也是 $M\times N$ 维矩阵，其值是两个矩阵中对应位置上各元素相乘的结果。

6、內积/外积

线性代数中的內积和外积概念，区别于解析几何中的相关概念：

內积是向量中对影位置的元素相乘，得到相同维度的向量；
外积，是线性代数中的外积，如下所示，也就是张量积，注意与解析几何中的向量外积是不同的概念；

$u\bigotimes v = uv^T=\begin{bmatrix} u_1\\ u_2\\ u_3\\ u_4 \end{bmatrix}\begin{bmatrix} v_1 &v_2 &v_3 \end{bmatrix}=\begin{bmatrix} u_1v_1 & u_1v_2 & u_1v_3 \\ u_2v_1 & u_2v_2 & u_2v_3 \\ u_3v_1 & u_3v_2 & u_3v_3 \\ u_4v_1 & u_4v_2 & u_4v_3 \end{bmatrix}$

7、矩阵的迹

在线性代数中，一个 $n * n$ 矩阵A的主对角线（从左上方到右下方的对角线）上的各个元素的总和被称为矩阵A的迹（或迹数），一般记做 $t r (A)$ ； $tr(A)=\sum_{i=1}^n a_{ii}$

资料来源：《推荐系统算法实践》 —— 作者：黄美灵

数学基础 —— 线性代数

目录