记忆融合网络MFN
第一个组成部分：每个视图都被赋予一个LSTM函数组件独立编码每个视图
第二个组成部分：Delta-memory Attention Network (DMAN) ，通过lstm系统来发现跨视图交互作用
第三个组成部分：存储跨视图信息在多视图门控记忆
视图N={l,v,a}
第n个视图的输入数据Xn = 【xn]
1.System of LSTMs
对于第n个视图，分配的LSTM被表示为
，t是时间戳
每个LSTM的输出定义为
System LSTM允许不同视图具有不同输入、记忆和输出形状
第n个LSTM的更新规则如下：
i、f、o是输入、遗忘、输出门
是第nLSTM建议的记忆更新
2.Delta-memory Attention Network
目标：在时间t上勾勒出跨视图交互在System LSTM的不同视图中
DMAN的输入是t-1和t时刻存储器的连接，表示为
这些记忆被通过一个神经网络，获得注意力系数
应用softmax在Da的输出层，允许调高系数对
DMAN的输出是
3.Multi-view Gated Memory
DMAN输出
作为输入通过神经网络
r1表示记住多少多视图门控存储器的当前状态，r2表示根据更新建议ut更新多少多视图门控存储器
r1和r2各有一个神经网络控制
MFN输出：
