An Empirical Study on Leveraging Position Embeddings for TOWE 论文阅读笔记

一、作者

Samuel Mensah、Kai Sun
Computer Science Department, University of Sheffield, UK
BDBC and SKLSDE, Beihang University, China

二、背景

面向目标的意见词提取（TOWE）是面向目标的情感分析的一个新的子任务，旨在为文本中的给定方面提取意见​​词。

下面分别为数据集示例和为 TOWE 应用 BIO 标签方案的示例。

{
	"tokens": ["The", "bread", "is", "top", "notch", "as", "well", "."],
	"head": [2, 5, 5, 5, 0, 5, 6, 5],
	"POS": ["DT", "NN", "VB", "JJ", "NN", "RB", "RB", "."],
	"deprel": ["det", "subj", "cop", "amod", "ROOT", "advmod", "fixed", "punct"],
	"asp": [[1, 1]],
	"opn": [[3, 4]]
}

三、具体实现

给定句子 $s=w_1,w_2,\cdots ,w_n$，其中方面词为 $w_t\in s$。作者的模型将单词、词性和位置信息的整体作为 TOWE 任务的输入，进一步探索了通过 GCN 编码器合并来自句子句法解析的信息进而增强文本编码。

1.输入表示

单词嵌入：作者分别通过 Glove 词向量以及基于 BERT 的表示进行实验，其中基于 BERT 的表示是从 BERT 基础模型的最后一层中提取的，并在 TOWE 上进行了微调。

位置嵌入（POSN）：作者计算了从 $w_i$ 到 $w_t$ 的相对距离 $d_i$，并在随机初始化的位置嵌入表中查找它们的嵌入。

词性嵌入（POST）：作者使用 Stanford Parser 为每个 token 分配了词性标记，并在随机初始化的词性嵌入表中查找它们的嵌入。

输入结合：

1. Glove 输入：由连接每个标记的 Glove 词嵌入、POST 和 POSN 嵌入构成。
2. BERT 输入：将 BERT 向量与每个 token 的词性嵌入连接起来。

2.文本编码

作者分别基于 CNN、Transformer、BiLSTM 和 ON-LSTM 进行了文本编码的实验。

3.GCN编码器

首先通过二元邻接矩阵 $A_{ij}$ 来对句法树进行表示，即节点间有边对应位置置1，否则置0。

基于句法邻接矩阵，得到的第 k 个 GCN 层的表示为：$H^{(k)}=\mathrm{ReLU}\left(A{H}^{(k-1)}{W}^{(k)}\right)+H^{(k-1)}$。

其中，$W^{(k)}$ 为第 k 层的参数矩阵，$\mathrm{ReLU}$ 为对应的激活函数。GCN 的初始输入 $H^{(0)}$ 对应于文本编码器提取的单词表示集合。同时第二项在传播过程中引入了保留了 $H^{(0)}$ 的上下文信息的残差连接。

4.分类和优化

作者的模型使用表示 $H^{(l)}$，应用线性层，然后使用 softmax 函数对其进行归一化，以得到输入中每个单词在集合 {B, I, O} 上的概率分布。损失函数采用交叉熵损失函数。