【论文精读】COLING 2022 - CLIO: Role-interactive Multi-event Head Attention Network for DEE

【论文精读】COLING 2022 - CLIO: Role-interactive Multi-event Head Attention Network for Document-level Event Extraction

【论文原文】：CLIO: Role-interactive Multi-event Head Attention Network for Document-level Event Extraction

【作者信息】：Ren, Yubing and Cao, Yanan and Fang, Fang and Guo, Ping and Lin, Zheng and Ma, Wei and Liu, Yi

论文：https://aclanthology.org/2022.coling-1.221.pdf
代码：-

博主关键词：事件抽取，对比学习，特征融合

推荐论文：无

摘要

将网络上的大量非结构化文本转换为结构化事件知识是NLP的一个关键但尚未解决的目标，特别是在处理文档级文本时。现有的方法在文档级事件抽取(DEE)中仍十分困难，因为它有两个内在的挑战:(a)嵌套论元，这意味着一个论元是另一个论元的子字符串。(b)多个事件，这表明我们应该确定多个事件并为它们集合论元。在本文中，我们提出了一个角色交互的多事件头注意力网络(CLIO)来共同解决这两个挑战。关键思想是将不同的事件映射到多个子空间(即多事件头)。在每个事件子空间中，我们将每个角色的语义表示为更接近其对应的论元，然后确定当前事件是否存在。为了进一步优化事件表示，我们提出了一种事件表示增强策略，将预训练的嵌入空间正则化，使其更加各向同性。我们在两个广泛使用的DEE数据集上的实验表明，CLIO比以前的方法取得了一致的改进。

1、简介

文档级事件抽取(DEE)与SEE相比，文本长度的增加带来了更多的挑战，DEE仍然表现不佳。

最近，研究人员对DEE投入越来越多的经历。他们的工作可以大致分为基于分类的模型(Zhang et al, 2020; Xu et al, 2021; Huang and Jia, 2021; Huang and Peng, 2021)，基于标记的模型(Yang et al, 2018; Du and Cardie, 2020)，以及基于生成的模型(Li et al, 2021; Y ang et al, 2021; Du et al, 2021)。最先进的方法(Liu et al, 2021)将DEE框架为机器阅读理解任务，由两种数据增强机制辅助。尽管学者们在DEE方面做了很多有价值的尝试，但目前的方法在DEE方面仍然面临着以下关键的挑战:

嵌套论元:在文档中，有许多嵌套论元(即一个论元是另一个论元的子字符串)，它们属于不同的角色。图1给出了一个例子。在Transportation事件中，truck(扮演着Origin角色)，Ryder truck(扮演着Vehicle角色)，是一个嵌套事件论元。根据我们的统计，在WikiEvents (Li et al, 2021)和RAMS (Ebner et al, 2020)数据集中，分别有14.23%和13.94%的文档有嵌套论元。不幸的是，传统的基于标记的方法不能完全识别这些嵌套论元，这些方法不能为一个token分配多个标签。

多个事件：如图1所示，单个文档中有三种事件:Transportation、ExchangeBuySell和Meet，DEE不仅应该标识所有事件，还应该为相应的事件分配论元。多个事件的问题在DEE中很常见(WikiEvents中86.88%的文档涉及多个事件)。更重要的是，这些事件的论元均匀地分散在句子中，很难实现准确的论点组合。以往的作品通常采用固定的文档表示来检测所有事件类型。但是，不同的事件类型有不同的角色和论元，文档表示的重点也应该不同。

对于通常属于不同角色的嵌套论元，直觉上我们应该为每个角色独立抽取论元。假设一个事件中有$N$个角色，我们可以通过标记每个角色下的论元来执行$N$个独立的抽取。这样可以同时识别角色Origin的论元子串truck和角色Vehicle的论元Ryder truck。要解决多个事件的挑战，一种直观的方法是独立检测每个事件类型并为其组装论元。对于一种事件类型，由于角色的减少，论元抽取可以更简单。相反，使用特定于此事件类型的角色信息可以更好地检测当前事件类型。我们认为，这两个挑战可以通过将每个事件类型映射到特定的子空间来共同解决。

扫描二维码关注公众号，回复： 14606781 查看本文章

类似于多头注意力(Vaswani et al, 2017)，我们为DEE提出了一个角色交互的多事件头注意力网络(CLIO)。CLIO中最关键的部分是角色交互的多事件头注意力模块，它可以共同解决上述两个挑战。首先，我们的注意力模块以角色为中心的方式工作。也就是说，对于每个角色，我们独立地抽取其所有对应的论元。这样可以为一个token分配多个角色标签，很好地解决了论元嵌套的问题。其次，我们的注意力模块通过将每个事件类型映射到每个事件头来为每个事件类型分配子空间。通过这种方式，我们可以独立地检测每个事件类型并为其组装论元，这可以解决多个事件的挑战。在每个事件头中，我们使用特定于此事件的角色信息来表示文档。这种特定于事件的文档表示减轻了从单个文档检测多个事件的困难。

综上所述，我们的贡献如下:

• 我们提出了一个角色交互的多事件头注意力网络，以同时处理嵌套论元和多个事件的挑战。
• 我们在两个广泛使用的DEE数据集上进行实验。实验结果表明，CLIO算法优于以往的方法，在面对DEE的关键挑战时有明显的改善。

2、方法

我们首先描述了DEE的任务形式化。形式上，给定一个包含$m$个单词 D = { w i } i = 1 m D = \{w_i\}^m_{i=1} D={ wi​}i=1m​、预定义事件类型 T = { t i } i = 1 l T = \{t_i\}^l_{i=1} T={ ti​}i=1l​和角色类别 R = { r i } i = 1 n R = \{r_i\}^n_{i=1} R={ ri​}i=1n​的输入文档。DEE任务旨在抽取一个或多个事件记录: { text type : t , r 1 : [ a 1 1 , a 1 2 , … ] , … , r i : [ a i 1 , a i 2 , … ] } \{\text{text type}:t, r_1: [a^1_1, a^2_1,\ldots],\ldots, r_i: [a^1_i, a^2_i,\ldots]\} { text type:t,r1​:[a11​,a12​,…],…,ri​:[ai1​,ai2​,…]}，其中$a_i^1$是角色$r_i$的第一个论元，依此类推。

图2说明了CLIO的体系结构，它由三个关键组件组成:(1)角色交互多事件头部注意，(2)多事件抽取，(3)事件表示增强。角色交互多事件头部注意模块可以同时解决嵌套论元和多个事件的挑战。

2.1 编码

首先，我们通过连接文档$D$和角色集$R$来构造一个扩展序列$S=\text{[CLS] }D\text{ [SEP] }R\text{ [SEP]}$。接下来，我们使用隐藏大小为$D$的BERT (Devlin et al, 2019)来编码序列$S$中每个单词的上下文嵌入:
$$[H_w,H_r]=\text{BERT}(S)\text{\hspace{1em}(1)}$$
经过这一阶段，我们可以得到文档$H_w\in {\mathbb{R}}^{m\times d}$的词表示和角色表示$H_r\in {\mathbb{R}}^{n\times d}$。这一阶段对文档和角色通过多头和多层注意力进行了深度融合。

基于规范的显著性评分：直观地说，并不是文档中的每个单词都是重要的。因此，我们在词嵌入的l2范数的基础上，引入了基于范数的显著性评分来衡量词表达本质意义的能力。l2范数的这一特征已经被一些有前途的工作所证明(Luhn, 1958; Chen et al, 2020; Liu et al, 2020)。

我们使用词嵌入的l2范数作为它们的权重:
$$H_w^{\prime }=\parallel H_w{\parallel }_2\odot H_w\text{\hspace{1em}(2)}$$
其中$H_w^{\prime }\in {\mathbb{R}}^{m\times d}$是加权的词嵌入，$\odot$表示逐元素的乘法。

2.2 角色交互的多事件头注意力

在这一步中，目标是同时解决嵌套论元和多个事件的挑战。我们比较了每种事件类型下的角色嵌入和词嵌入，并选择具有较高语义重叠的角色词对作为论元抽取结果。我们首先考虑单个事件类型，然后将其扩展到所有事件类型。

角色交互事件注意力：在每种事件类型中，我们测量每个角色-词对之间的关联程度。我们首先将单词和角色的原始$d$维特征通过两个完全连接的层投射到更小的$d$维中:
$$\begin{gathered} {\tilde{H}}_w=H_w^{\prime }{W}_w+b_w, \\ {\tilde{H}}_r=H_r{W}_r+b_r\text{\hspace{1em}(3)} \end{gathered}$$
$W_w\in {\mathbb{R}}^{d\times d^{\prime }},b_w\in {\mathbb{R}}^{d^{\prime }},W_r\in {\mathbb{R}}^{d\times d^{\prime }},b_r\in {\mathbb{R}}^{d^{\prime }}$是可学习参数，${\tilde{H}}_w\in {\mathbb{R}}^{m\times d^{\prime }},{\tilde{H}}_r\in {\mathbb{R}}^{n\times d^{\prime }}$。

然后，我们应用串联注意力(Luong et al, 2015)来衡量单词表征${\tilde{H}}_w$和角色表征${\tilde{H}}_r$之间的相关性程度。我们将$S_t({\tilde{H}}_w,{\tilde{H}}_r)$表示为事件类型$t$下角色-词对的相关强度矩阵:
$$\begin{gathered} Scor{e}_t({\tilde{H}}_w,{\tilde{H}}_r)=\tanh ([{\tilde{H}}_w;{\tilde{H}}_r]W_a)\cdot v_a, \\ {S}_t({\tilde{H}}_w,{\tilde{H}}_r)=sigmoid(Scor{e}_t({\tilde{H}}_w,{\tilde{H}}_r))\text{\hspace{1em}(4)} \end{gathered}$$
$[{\tilde{H}}_w;{\tilde{H}}_r]\in {\mathbb{R}}^{m\times n\times 2d^{\prime }},W_a\in R^{2d^{\prime }\times d},v_a\in {\mathbb{R}}^{d^{\prime }}$是可学习嵌入，$Scor{e}_t\in {\mathbb{R}}^{m\times n},S_t\in {\mathbb{R}}^{m\times n},t\in T$。

多事件头注意力：我们对所有事件头并行执行上述角色交互事件注意力，这可以同时抽取多个事件。形式上，我们将所有事件类型下的角色交互事件注意堆叠到一个多事件头注意力$S_T({\tilde{H}}_w,{\tilde{H}}_r)\in {\mathbb{R}}^{l\times m\times n}$，其中头部的数量$l$是事件类型的大小。

对于DEE数据集，每个事件类型$t_i$都有一个预定义的角色集$R_{t_i}$。我们将其形式化为事件模式掩码$M$(参见图3):
$$M_{t_i,r_j}=\{\begin{array}{cc}1,& \text{role }{r}_j\text{ in }{R}_{t_i}\\ 0,& \text{role }{r}_j\text{ not in }{R}_{t_i}\end{array}\text{\hspace{1em}(5)}$$
通过事件模式掩码$M$，我们减少每种事件类型下要预测的角色数量，为每种事件类型留下唯一的角色候选集，并在事件头之间进行区分。最终的多事件相关强度矩阵$S^{multi}({\tilde{H}}_w,{\tilde{H}}_r)$计算如下:
$$S^{multi}({\tilde{H}}_w,{\tilde{H}}_r)=S_T({\tilde{H}}_w,{\tilde{H}}_r)\odot M\text{\hspace{1em}(6)}$$
$S_T\in {\mathbb{R}}^{l\times m\times n},M\in {\mathbb{R}}^{l\times n},S^{multi}\in {\mathbb{R}}^{l\times m\times n}$。

2.3 多事件抽取

事件论元抽取：最终的多事件相关强度矩阵$S^{multi}({\tilde{H}}_w,{\tilde{H}}_r)$ (Eq. 6)包含每个角色-词对的概率。我们将概率大于阈值${\delta }_{EAE}$的角色-词对作为当前角色下的论元抽取结果。

我们使用预测和标准标签之间的交叉熵来优化我们的模型:
$$L_{EAE}=CE(S^{multi},Y^{multi})\text{\hspace{1em}(7)}$$
其中$Y^{multi}\in {\mathbb{R}}^{l\times m\times n}$是文档与多事件头下角色之间的关联矩阵的ground truth标签。

特定事件的文档表示：为了更好地检测文档中包含的事件类型，我们为每个事件头构造特定事件的文档表示。

给定事件类型t下的角色交互事件注意力$Scor{e}_t({\tilde{H}}_w,{\tilde{H}}_r)$ (Eq. 4)，我们首先将$Scor{e}_t$与角色归一化，称为$A$。我们通过使用$A$对角色${\tilde{H}}_r$进行加权和来获得特定于事件类型$t$的单词表示$H^{\prime \prime }w$。通过平均池化操作，我们获得了特定于事件类型$t$的文档表示$H_D$:
$$\begin{gathered} A=softma{x}_r(Scor{e}_t({\tilde{H}}_w,{\tilde{H}}_r)\odot M_{t,:}), \\ {H}_w^{\prime \prime }=A{\tilde{H}}_r, \\ {H}_D=\frac{1}{m}\sum _{w=w_1}^{w_m}{H}_w^{\prime \prime }\text{\hspace{1em}(8)} \end{gathered}$$
$Scor{e}_t\in {\mathbb{R}}^{m\times n},M_{t,:}\in {\mathbb{R}}^n,A\in {\mathbb{R}}^{m\times n},\sum A_{i:}=1,H_w^{\prime \prime }\in {\mathbb{R}}^{m\times d^{\prime }},H_D\in {\mathbb{R}}^{d^{\prime }}$。

事件类型检测：我们根据相应的特定于事件的文档表示来检测每个事件类型。具体来说，我们对事件类型$t$在$H_D$上进行二元分类，得到概率$P_t$:
$$P_t=softmax(H_D{W}_e)\text{\hspace{1em}(9)}$$
$W_e\in {\mathbb{R}}^{d^{\prime }\times 2}$是可学习参数，$P_t\in {\mathbb{R}}^2$。

然后我们将$P_t$扩展为对多个事件的预测$P^{event}\in {\mathbb{R}}^{l\times 2}$，它可以同时识别多个事件。我们应用交叉熵损失来更新模型参数:
$$L_{ED}=CE(P^{event},Y^{event})\text{\hspace{1em}(10)}$$
$Y^{event}\in {\mathbb{R}}^{l\times 2}$是事件类型的ground truth。

2.4 事件表征增强

我们发现上述阶段的语言建模产生了各向异性的词嵌入。因此，我们应用事件内对比学习，通过正则化预训练的嵌入空间，使其更具各向同性来增强事件表示。在DEE中，我们需要让每个角色更接近它的论元(正例)，同时让每个角色远离其他单词(负例)。给定一个角色，有多个论元，也就是说，有不止一个正例。

我们应用(Hoffmann et al, 2022)基于InfoNCE提出的方法来包括多个正例。更具体地说，对于角色$h_r\in {\tilde{H}}_r$，作为角色$r$的论元的单词构成了正例集$P$，而不是角色$r$的论元的单词构成了负例集$N$，$P\cup N={\tilde{H}}_w$。为了测量一对特征之间的相似性，我们使用余弦相似度:
$$sim(x,y)=\frac{x^{\tau }y}{\parallel x\parallel \cdot \parallel y\parallel }\text{\hspace{1em}(11)}$$
训练的目标函数变为：
$$L_{CL}=-\log \frac{{\sum }_{p\in P}\exp (\frac{sim(h_r,p)}{\tau })}{{\sum }_{p\in P}\exp (\frac{sim(h_r,p)}{\tau })+{\sum }_{n\in N}\exp (\frac{sim(h_r,n)}{\tau })}$$
$h_r\in {\mathbb{R}}^{d^{\prime }}$是角色$r$的嵌入，$p\in {\mathbb{R}}^{d^{\prime }}$是论元嵌入，$n\in {\mathbb{R}}^{d^{\prime }}$是输入文档除了论元之外的词嵌入，$\tau$是温度超参数。

2.5 联合训练

总体损失函数分为三个部分:事件论元抽取损失$L_{EAE}$、事件类型检测损失$L_{ED}$和对比损失$L_{CL}$。我们让这三个目标以相同的速度共同学习，并一起更新模型参数。我们有以下训练损失:
$$L={\lambda }_1{L}_{EAE}+{\lambda }_2{L}_{ED}+{\lambda }_3{L}_{CL}$$
${\lambda }_1,{\lambda }_2$的权重在训练过程中是动态调整的，${\lambda }_1=\frac{1}{L_{EAE}}，{\lambda }_2=\frac{1}{L_{ED}}$，${\lambda }_3$是超参数。

3、实验

数据集：WikiEvents、RAMS。

评估指标：precision、recall、F1.

baseline：BERT-CRF、SpanSel、Head-Expand、BERT-Gen、DocMRC。

主要结果：

结论：1、CLIO能够准确地抽取嵌套论元。2、CLIO能处理复杂多事件场景。

4、总结

本文提出了一种面向DEE的角色交互多事件头注意力网络(CLIO)。通过将不同的事件映射到多个子空间，我们将DEE分解为多个子步骤，以处理嵌套的论元和多个事件。为了进一步优化事件表示，我们应用事件表示增强策略来正则化预训练的嵌入空间，使其更加各向同性。实验结果表明，CLIO算法的性能明显优于以往的方法，特别是在面对DEE的特定挑战时。在未来的工作中，我们希望探索特定于事件的高级词汇表示。

【论文速递 | 精选】

论坛地址：https://bbs.csdn.net/forums/paper

最近工作