简单的seq2seq 模型

简单的seq2seq 模型

1. 首先看看两个滤波器的差分方程,FIR,IIR;编码器有点类似FIR编码,而解码器类似IIR.

2. 解码器就是常规的时间序列的多部预测方式,用一个A预测产生B,用B产生C, 在解码器中输入和输出具有固定的错位对应关系,所有解码器是一个典型的

    同步的序列的多对多模式!!奇妙的是最终还是付诸于同步多对多,那是不是就是告诉我们只要能转换成同步多对多就可以解决问题了?!

https://zhuanlan.zhihu.com/p/28054589

注意力机制:

1.每个输出具有不同的背景向量

2.每个背景向量来自以前多个背景向量的加权和,而不是像以前简单的编码器产生一个背景向量.

3. 需要一个行数为输入长度而列数为输出长度矩阵来描述这种关系!

猜你喜欢

转载自www.cnblogs.com/wdmx/p/10140799.html