注意力机制（Attention Mechanism）与Transformer架构在自然语言处理（NLP）和深度学习领域具有重要地位。
注意力机制
注意力机制是一种让模型在处理序列数据时，能够动态地关注输入数据的不同部分的技术。它的核心思想是通过计算每个位置的权重，从而让模型关注序列中的不同位置。注意力机制通常涉及查询向量（Query）、键向量（Key）和值向量（Value）的计算，以及根据这些向量计算注意力权重和上下文向量。
注意力机制可以单独使用，但更多地是作为神经网络中的一部分，与其他类型的神经网络（如RNN、CNN等）结合使用，以提高模型的性能和准确性。
Transformer架构
Transformer架构是一种全新的神经网络架构，它完全基于注意力机制，特别是自注意力机制（Self-Attention）。Transformer架构的出现彻底改变了自然语言处理的方法，并在多个NLP任务中取得了显著的成功，如机器翻译、文本摘要、情感分析等。
Transformer架构的核心组件包括：
- 多头注意力机制（Multi-Head Attention）：这是Transformer架构的核心组件，它通过将查询向量、键向量和值向量分成多个头（即多个子空间），在每个头中独立进行自注意力运算，然后将所有头的结果拼接在一起，再进行一次特定的变换，得到最终的输出。多头注意力机制能够有效地捕捉到序列中的关键信息。
- 位置编码（Positional Encoding）：由于Transformer架构没有像RNN那样的递归结构来捕捉序列中的位置信息，因此需要通过位置编码来添加位置信息。位置编码通常是一个一维的正弦函数，它可以捕捉到序列中的位置关系。
- 编码器（Encoder）和解码器（Decoder）：Transformer架构基于编码器-解码器架构来处理序列对。编码器将输入序列映射到潜在语义空间（注意力向量），而解码器则将潜在语义空间映射到输出序列。
具身智能是指智能系统通过与其物理环境进行交互来学习和适应的能力。这种智能不仅仅依赖于算法和数据处理，而是通过实体的感知、运动和环境交互来实现智能行为。它强调了身体感知、运动和与环境互动的重要性，认为智能不仅仅是大脑内部的思考和计算过程，还涉及到与外部环境的交互。
二、核心观点与特性
- 感知-行动循环：智能系统通过感知环境并做出相应的行动，形成一个循环过程，从而不断学习和适应。
- 物理交互：智能系统通过与物理环境的直接交互来获取信息和学习，例如机器人通过移动和操作物体来学习。