TDEER: An Efficient Translating Decoding Schema for Joint Extraction of Entities and Relations -------EMNLP 2021
在实体关系抽取中，通用的方法是通过预测实体对来获得相应的关系，进而得到关系三元组。然后如何有效地处理这一任务仍然具有挑战性，尤其是对于重叠三元组问题。因此，为了解决这个问题，作者提出了基于翻译解码机制的实体关系联合抽取模型（TDEER: Translating Decoding Schema for Joint Extraction of Entities and Relations）
该方法分为三个步骤：在第一个阶段，TDEER使用基于跨度的实体标签模型来提取所有的主体实体和客体实体。
在第二阶段，TDEER采用多标签分类策略来检测出所有的相关关系。在第三阶段，TDEER通过所提出的基于翻译机制的解码模式迭代主体实体和关系对，以识别出各自的客体实体。
在BERT模型的基础上，模型首先编码句子文本，在BERT模型的输出得到，CLS以及句子中每个词的对应的上下文向量表示。
阶段一：实体标注模型
接下来在得到的上下文向量表示的基础上，采用前人工作中基于跨度的标记模型去获得句子中的实体以及它们的位置。作者使用了两个二元分类器分别预测主体实体的起始位置和结束位置以及客体实体的起始位置和结束位置。使用的激活函数为sigmoid。
实体探测阶段的损失函数如下：
通过上述方法，我们在该阶段能够分别得到主体实体的集合和客体实体的集合
提取的实体被呈现为类似于(start, end)的元组。
阶段二：关系探测
在关系探测阶段，为了识别句子中的相关关系，作者在CLS向量表示的基础上采用了一种多标签分类策略来分类得到句子中的关系。使用的激活函数为sigmoid。
损失函数为交叉熵损失函数，公式如下：
使用｛0, 1｝来表示关系的真实值标签，最终将句子中探测到的关系表示为
阶段三：翻译解码方案
在基于翻译机制的解码模式阶段，作者提出的方法对探测到的主体实体集合和关系集合进行迭代配对，然后去预测客体实体的开始位置。对于每个主体实体和关系对，作者首先将主体实体和关系的表示结合起来。接下来，作者使用注意力机制来获得一个选择性的表示，它被期望为客体实体的可能位置分配更高的权重。最后，将选择性表示传递给一个完全连接的层来获得输出，即去得到的客体实体的位置。
更具体地说，对于在主体实体集合中的第i个主体实体和关系集合中的关系r, TDEER将主体实体的开始和结束标记之间的平均跨度向量表示为
TDEER将关系映射到与
具有相同特征维数的连续空间，得到关系嵌入向量
。然后TDEER应用一个全连接层来编码这个关系:
TDEER通过加法操作将主体实体的表示和关系表示连接起来：
接下来，TDEER应用注意机制来获得选择性表示：
TDEER采用二元分类器在给定当前主体实体和关系的情况下，确定客体的起始位置。
在这一阶段，TDEER将以下loss函数最小化，以识别对象实体的起始位置。
负采样策略
在TDEER中，翻译解码器依赖于实体标记和关系检测器，因此翻译检测器可能从上游组件接收错误实体或关系。因此，作者还引入了一种负采样策略来检测和减轻来自上游组件的误差。
联合训练损失
作者联合训练基于跨度的实体标签模型、关系检测器和翻译解码器。损失函数定义如下:
实验结果
实验结果如下：
