注意力机制原理,举例说明

目录

注意力机制原理

举例说明

解码器 - 编码器注意

解码器自我注意(隐藏)


图片

注意力机制原理

在解码器-编码器的架构中,注意力机制是一种重要的技术,它允许解码器在生成每个输出时,能够关注输入序列中的不同部分。这种机制使得模型能够更准确地捕捉输入和输出之间的对应关系。

  1. 编码器状态:编码器将输入序列编码成一个或多个向量(通常称为上下文向量或背景变量&

猜你喜欢

转载自blog.csdn.net/qq_38998213/article/details/143467138