文章地址：https://www.aclweb.org/anthology/C16-1239.pdf
文章标题：Table Filling Multi-Task Recurrent Neural Network for Joint Entity and Relation Extraction（表填充多任务递归神经网络用于联合实体和关系提取）COLING2016
Abstract
本文提出了一种基于语义组合的上下文感知的联合实体和词级关系提取方法，提出了一种多任务递归神经网络(TF-MTRNN)模型，将实体识别和关系分类任务简化为表格填充问题，并对它们之间的相关性进行了建模。该神经网络结构能够在不知道句子中对应关系参数的情况下对多个关系实例进行建模。实验结果表明，一种利用候选实体对关联实体之间的标签依赖关系进行建模的简单方法可以提高性能。
我们在CoNLL04数据集上展示了最新的结果，实体识别和关系分类分别提高了2.0%和2.7%。
一、Introduction
图一：实体和关系示例(CoNLL04数据)。PER：Person，ORG：Organization，LOC：Location。连接是：PER和ORG是Work_For；ORG和LOC是OrgBased_In；LOC和LOC是Located_In。
关系分类的任务是预测带注释的名词对(也称为关系参数)之间的语义关系。这些注释，例如参与关系的命名实体对，通常很难获得。传统方法通常是基于两个独立的子任务的管道：实体识别(ER)和关系分类(RC)，首先检测命名实体，然后执行关系分类检测实体提及，因此忽略了潜在的相互依赖关系和传播错误分类实体识别的关系。这两个子任务一起称为端到端关系提取。
关系分类是一个句子层次的多类分类问题，它通常假定句子中只有一个关系实例。通常认为实体识别影响关系分类（√），但关系分类不影响实体识别（×）。在这里，我们用实验证据来证明后者是不正确的。例如，在图1中，PER和ORG实体之间存在关系Work For, ORG和LOC之间存在ORGBased，而LOC和LOC实体之间存在ORGBased。相反，对于具有关联关系的给定单词，可以检测候选实体类型。例如，在图2中，对于给定的关系，假设位于，候选实体对是(LOC, LOC)。因此，这两个任务是相互依赖的，通过提出的子任务联合建模和简单的piggybacking方法，优化单一网络，ER和RC对候选实体对的相互依赖关系进行建模，并实现相应的关系。
图二：实体-关系依赖(CoNLL04数据集)。
联合学习方法(Roth和Yih, 2004;Kate和Mooney, 2010)在复杂的多个独立模型上为子任务建立联合模型。(Miwa和Sasaki, 2014)提出了一种联合实体和关系提取方法，使用基于历史的结构化学习和表表示；然而，它们明确地合并实体关系标签的相互依赖性，使用复杂的特性和搜索启发式来填充表。此外，其最先进的方法是结构化预测，而不是基于神经网络框架。然而，递归和卷积神经网络等深度学习方法(Zeng et al.， 2014;张，王，2015;(Nguyen和Grishman, 2015)将关系分类作为句子级多类分类，并依赖于句子中提供的关系参数。因此，它们不能在一个句子中处理多个关系实例，并且不能检测到参与检测到的关系的相应的实体提及对。
我们解决了联合和深度学习方法检测实体和关系的局限性。本文的贡献如下：
（1）提出了一种新的表格填充多任务递归神经网络，通过统一的多任务递归神经网络对实体识别和关系分类任务进行联合建模。我们使用实体关系表表示来检测单个框架中的实体提及对和对应关系。它减少了联合实体和关系学习中对搜索启发式和显式实体和关系标签依赖的需要。据我们所知，这是首次尝试通过多任务递归神经网络来联合建模实体和关系提取任务之间的相互依赖关系。
本文提出了一种基于上下文感知的RNN框架的词对合成的句子级关联学习方法。我们的方法相对于最先进的方法，如CNN和RNN，在关系分类上有显著的优势，因为我们不需要标记的名词性，并且可以在一个句子中建模多个关系实例。
（2）有命名实体标签对于发现它们之间的关系类型是非常有用的，反之亦然，有命名实体标签之间的关系类型可以减轻命名实体标签的问题。因此，使用一种简单的方法为单词(从每个单词的关联类型派生而来)附带候选命名实体，从而对标签依赖关系进行建模，从而改进了系统的性能。此外，该网络中的顺序学习方法通过共享模型参数和表示来学习实体和关系标签依赖关系，而不是显式地对它们建模。
（3）在CoNLL04数据集上，我们的方法在实体识别和关系分类上分别比最先进的方法高出2.0%和2.7%。
二、Methodology
2.1 Entity-Relation Table（实体-关系表）
表一：图1中示例的实体关系表。通过一个表格填充问题演示词级关系分类。符号表示没有关联词对。关系是在词而不是实体上定义的。对角线上的条目有实体类型和K与单词本身的关系，而非对角线上的条目是关系类型。
我们采用Miwa和Sasaki(2014)提出的表结构作为模型的主干，如表1所示。这种结构允许对联合实体和关系提取进行优雅的形式化处理，因为实体和关系标签都定义为句子中单词wi和wj之间的二元关系实例。一个实体标签是一种二元关系，即对角线上的单元格。一个关系标签也是一种二元关系，即非对角单元格。
除了为实体和关系标签提供了一个通用的框架之外，表结构的另一个优点是每个句子都可以免费建模多个关系。它只是对应于几个(多个)用对应关系标记的非对角单元格。
2.2 The Table Filling Multi-Task RNN Model（表填充多任务RNN模型）
在形式上，我们的任务是一个长度为n的句子打上n(n+1)/2标签。挑战在于标签的决定是高度相互依赖的。我们采用深度学习方法，因为深度学习模型最近已经成功地在NLP中建模了复杂的依赖关系。更具体地说，我们应用递归神经网络(RNNs)，由于他们成功地完成了复杂的NLP任务，如机器翻译和推理。
要应用RNNs，我们将表中的单元格按图4所示的顺序排列，并按顺序逐个标记(或“填充”)单元格。我们将这种方法称为表填充。
图三：多任务递归神经网络(TF-MTRNN)用于联合实体和词级关系提取的表填充。重叠圆：实体标签；单圆：关系标签。
更具体地说，我们使用双向架构(Vu et al.， 2016b)，前向RNN和后向RNN来填充每个单元（i，j），如图3所示。前向RNN提供了历史w1,…wi的表示。反向网络提供了以下上下文wj,…ws的表示。图中显示了如何计算“关联”的命名实体标记。正向RNN如下图所示。hfi是历史的表现，hbj是以下内容的表现。两者都被输入到hij中，然后hij预测标签L-ORG。
我们提出的基于RNN的框架通过共享模型参数和表示形式，将实体和关系提取任务联合建模，以学习它们之间的相关性。如图3所示，我们使用两个独立的输出节点和权重矩阵分别进行实体和关系分类。实体标签赋值给一个词，关系赋值给一个词对;因此，只有来自前向和后向网络的相同单词组成时才会执行EE。
提出的TF-MTRNN的动态架构(图3)如下：
2.3 Context-aware TF-MTRNN model（上下文感知的TF-MTRNN模型）
在图3中，我们观察到，当单词Association和Va的隐藏表示被合并时，中间上下文(即在组合中单词对之间发生的所有单词)被丢失。因此，我们在网络中引入了缺少上下文的第三个方向(图5)(即在Alexandria中)，将完整的上下文累积在组合的隐藏向量中(hi,j)。
除了hbj外，上下文感知的TF-MTRNN的动态与公式1相似，如图5所示：
图五：上下文感知的TF-MTRNN模型。(…)表示剩余的词对组合(表1)。
2.4 Piggybacking for Entity-Relation Label Dependencies（承载实体关系标签依赖项）
图六：在统一的多任务RNN框架中，通过联合建模实体和关系提取端到端关系，并填充实体关系表。
有命名实体标签对于发现它们之间的关系类型是非常有用的，反之亦然，有命名实体标签之间的关系类型可以减轻名称实体标签的问题。在图6的端到端关系提取过程中，我们对这些标签的相互依赖性进行了建模，其中在时间步长t的输入向量由-给出
其中CRE是对实体依赖关系建模的计数向量，EER是预测实体对实体依赖关系建模的一个热点向量，Wemb是词嵌入向量。因此，在每个时间步长的输入向量t是这三个向量的串联。
为了将实体建模为关系依赖，TF-MTRNN模型(图6)首先计算实体类型，实体类型由实体-关系表的对角条目表示。将每个预测实体类型EER(填充的蓝色方框)与对应的词嵌入向量Wemb连接，然后输入相同的模型M进行关系分类。
2.5 Ranking Bi-directional Recurrent Neural Network (R-biRNN)（排序双向递归神经网络(R-biRNN)）
统一架构(图3)可以看作是由两个独立的模型,每个尼珥和再保险(图6)。我们说明R-biRNN附录A(图12)集成在TF-MTRNN(图3),因此,统一模型利用R-biRNN (Vu et al ., 2016 b)为实体提取效率,完整的上下文信息的利用网络向前和向后的每个输入词向量在每个输出节点随着排名的损失。图12对应于表1中命名实体的对角线条目，并通过顺序学习支持实体-实体标签依赖关系(Miwa和Sasaki, 2014)。
三、Model Training
3.1 End-to-End Relation Extraction
图七：从关系到实体的建模标签依赖关系的方法。由于篇幅限制，我们不会列出所有的单词。表示任何实体类型。突出显示计数表示对应单词的候选实体重要性。
在CoNLL04中，超过99%的单词对属于无关系类。因此，在关系学习中，要求命名实体考生选择候选词对。在图6和图9中，我们演示了用于端到端关系提取的联合和管道方法。
在图6中，通过过滤掉非实体对来选择候选关系对。因此，在实体-关系表中，我们为非实体对插入“无关系”标签，而RC不被执行。注意，RC选择了一个词对，其中至少有一个词是实体。它允许模型M通过携带候选命名实体(图7)在NER中纠正自身错误。然而，在图9中，两个独立的模型M1和m2分别为NER和RC进行了训练。在管道方法中，唯一的候选关系是具有(U-， U-)、(L-， L-)或(U-， L-)实体类型的单词对。因此，在RC子任务中，只有w1和w5是按照单词序列在M2中组成的。
3.2 Word Representation and Features
每个单词都由预先训练好的50维单词嵌入(Turian et al.， 2010)与N-gram、词性(词性)、大写特征(CF:全大写;首字母大写)和载体实体(第2.4节)。词嵌入在实体和关系提取任务之间共享，并通过在培训期间更新它们来适应。
3.3 State Machine driven Multi-tasking
多任务训练是通过在一组训练步骤中切换多个任务来执行的。然而,我们执行开关ER和RC子任务之间基于每一个任务的性能共同验证设置和更新学习速率只有当任务从RC转向ER(图8)。ER是多任务的任务开始和ER / RC切换在接下来的训练步骤,当他们的V及1得分并不比百视通及分数的前面的步骤验证集。
四、Evaluation and Analysis
表二：对CoNLL04数据集的EE和RE进行最新的比较。
五、Related Work
递归与卷积神经网络(Zeng et al.， 2014;Nguyen和Grishman, 2015年;张，王，2015;Vu等人(2016a)在句子级关系分类方面表现出了竞争力。Socher et al.(2012)和Zhang and Wang(2015)提出了基于依赖解析树的递归/递归神经网络来构造句子表示。然而，这些句子级的先进方法不能模拟句子中实体和关系的相互依赖性，不能处理句子中的多个关系实例，因此不能检测句子级关系的实体提及对。我们的方法是一个联合的实体和字级别的关系提取，能够对多个关系实例建模，而不需要知道名称对。
现有系统(Roth和Yih, 2004;凯特和穆尼，2010年;Miwa和Sasaki, 2014)是用于联合实体和关系提取的复杂特征模型。与我们的方法最相关的工作是(Miwa和Sasaki, 2014);然而，他们使用复杂的搜索启发法(Goldberg和Elhadad, 2010;(Stoyanov and Eisner, 2012)基于结构化预测方法填充实体关系表。它们明确地对标签依赖关系进行建模，而它们的联合方法并不基于神经网络。基于神经网络的多任务学习(Caruana, 1998)Seltzer和Droppo, 2013年;董等，2015;Li and J, 2014;Collobert和Weston, 2008)已经被用来建立相关任务之间的关系模型。因此，我们提出了一个基于统一神经网络的多任务框架来对实体-关系表进行建模，用于端到端关系的提取。
六、Conclusion
我们提出了一种新的架构TF-MTRNN，它将实体和关系提取联合起来进行建模，并展示了实体-关系表如何映射到一个学习标签相互依赖关系的神经网络框架。通过词的构成引入词级关系分类;这对于在不知道句子中相应实体的情况下建模多个关系实例是有利的。在RNN网络中引入上下文感知来整合缺失信息，并研究了利用piggybacking方法来建模实体-关系标签的相互依赖性。
实验结果表明，TF-MTRNN在实体提取和关系提取两方面都优于最先进的方法。
