model
主要贡献
- 提出了一种基于递归神经网络RNN的抽取式摘要的序列模型
- 可解释强-可视化‘
- 对抽取模型进行抽象化的训练，该模型可以单独对人工生成的参考摘要进行训练，从而消除了句子级抽取’标签的需求。
一种基于两层RNN的序列分类器：底层在每个句子中的word level上工作，而顶层运行在sentence level
。双指向箭头表示双向RNN。 1和0的顶层是基于sigmoid的分类层，它决定每个句子是否属于摘要。每句话的决定取决于第二句。
句子的丰富性，它相对于文档的显着性，它相对于累积摘要表示法和其他位置特征的新颖性
我们将extractive summarization 看成一个序列分类问题，对每句话按照原始文档的顺序依次进行访问，并视为一个二分类问题，在考虑先前决定的基础上来判断否将该句话包含在摘要中。
GRU网络结构如下，因为在这篇论文中使用GRU构造序列分类器的基本构造快。
我们的模型由一个两层双向GRURNN组成，其图形表示如图1所示。rnn的第一层运行在Word级别，并计算隐藏状态表示。 根据当前单词嵌入和先前的隐藏状态，顺序地在每个单词位置进行调整。我们还在单词级别使用另一个RNN，它从最后一个单词向后运行到第一个，我们将正反向RNN称为双向RNN。
第二层RNN运行在句子级别，双向网络，并接受双向word-level RNN的平均池化与隐藏状态链接作为输入------文档中的句子级别作为编码。
将整个文档建模为以下形式，这是一sentence-level 的RNN的hidden state的级联之后的平均池化，然后再做一个非线性转换作为文档的表达。
对于分类，每个句子在第二次遍历中依次重新讨论，其中回归对该句子是否属于摘要作出二分类决定，如下所示。
其中yj是指示第j句是否是摘要的一部分，这是一个二分类，hj是双向sentence-level的隐转态的级联。sj是句子摘要的动态表示。摘要表示只是访问到语句j的所有sentence-level 的hidden-state的加权求和，其中权重是根据其各自的相对摘要成员的概率所决定的。
其实可以这样理解摘要表示，这个摘要表示有点类似于生成中attention与隐状态乘积和作为context vector，也就是说明了前面每个句子对摘要的贡献（也就是是否是摘要，概率）加起来来判断下一个句子是否是摘要。
所以句子摘要表达式的形式也是和context vector 很类似的。
训练的时候，我们最小化负对数似然概率。
其中x是文档表示，y是其二进制摘要标签的向量。在测试时，模型在每个句子中依次发出汇隶属度P(Yj)的概率，即 用于摘要抽取模型”软预测。