随着 NVIDIA 最近成为第七家市值达到 1 万亿美元的公司以及 AI 的蓬勃发展，GPU 显然是一个关键的硬件。但它们是什么以及它们实际上为 AI 计算做了什么？
线性代数
绝大多数现代机器学习都是用线性代数和一点点微积分来处理的。
向量和矩阵
- 在物理学和相关工程中，矢量被认为是指向空间的箭头；它有大小和方向。
- 在计算机科学中，向量（或数组）是一个有序列表，其中每个元素对应一个属性。
数学家将此概括为说向量可以相互相乘并添加到标量中。
矩阵类似于向量，但具有两个维度，始终表示为行然后列。2x3 矩阵有两行和三列。
点积
点积本质上是两组数字彼此对齐的程度。具有小数量级的点积意味着很少对齐，而大数量级意味着更多对齐。考虑
当你打开一扇门时，你会靠近旋钮，因为这可以让你在门上的力和门的运动之间很好地对齐。从数学上讲，这是一个大点积。如果您试图通过推动铰链附近来打开门，那么力和运动之间的对齐就会很差。这是一个小点积，门摆动起来难度很大！
点积可以计算为每个向量的大小（长度）与它们之间的角度的余弦的乘积。从视觉上看，这是两个箭头在空间中的变换。
或者，点积可以计算为两个矩阵的每个元素的乘法和求和。这种形成将更有利于理解机器学习的应用。
a 和 b 的点积是每对元素的乘积之和。