Memory Fusion Network for Multi-view Sequential Learning注意力融合MFN

记忆融合网络MFN

第一个组成部分:每个视图都被赋予一个LSTM函数组件独立编码每个视图

第二个组成部分:Delta-memory Attention Network (DMAN) ,通过lstm系统来发现跨视图交互作用

第三个组成部分:存储跨视图信息在多视图门控记忆

视图N={l,v,a}

第n个视图的输入数据Xn = 【xn]

1.System of LSTMs

对于第n个视图,分配的LSTM被表示为,t是时间戳

每个LSTM的输出定义为

System LSTM允许不同视图具有不同输入、记忆和输出形状

第n个LSTM的更新规则如下:

i、f、o是输入、遗忘、输出门

m_{n}是第nLSTM建议的记忆更新

2.Delta-memory Attention Network

目标:在时间t上勾勒出跨视图交互在System LSTM的不同视图中

DMAN的输入是t-1和t时刻存储器的连接,表示为

这些记忆被通过一个神经网络,获得注意力系数

应用softmax在Da的输出层,允许调高系数对

DMAN的输出是

3.Multi-view Gated Memory

DMAN输出作为输入通过神经网络

r1表示记住多少多视图门控存储器的当前状态,r2表示根据更新建议ut更新多少多视图门控存储器

r1和r2各有一个神经网络控制

MFN输出:

猜你喜欢

转载自blog.csdn.net/weixin_41988545/article/details/112593186