目录
在验证或训练过程中，掩蔽自注意力层（Masked Self-Attention）和Encoder-Decoder注意力层是必须的吗
掩蔽自注意力层（Masked Self-Attention）输入输出是什么
在验证或训练过程中，掩蔽自注意力层（Masked Self-Attention）和Encoder-Decoder注意力层是必须的吗
掩蔽自注意力层
-
训练过程：
- 在训练Transformer模型的解码器部分时，掩蔽自注意力层是必需的。它确保解码器在生成每个输出时只能依赖之前已经生成的信息（即左侧的信息），而不能看到未来的信息（即右侧的信息）。这有助于模型学习自回归性质，即在生成序列时逐步构建输出。
-
验证过程：
- 在验证阶段，掩蔽自注意力层同样需要保持，以确保模型的输出与训练阶段保持一致，并且避免信息泄露。验证阶段通常用于评估模型在未见过的数据上的性能，因此应该保持与训练阶段相同的约束条件。