Text Level Graph Neural Network for Text Classification

Text Level Graph Neural Network for Text Classification

Motivation

解决基于GNN的文本分类主要面临的不支持在线测试的固定语料层次图结构和高内存消耗的实际问题。

2 Method

首先为给定的文本构建一个文本层次图；文本级图的所有参数都取自一些全局共享矩阵。然后，在这些图上引入消息传递机制，从上下文中获取信息。最后，基于所学的表示来预测给定文本的标签。

2.1 Building Text Graph

对于文本$T$ = { $r_1$,…,$r_i$，…，$r_l$}，其中$r_i$表示$i$$t$$h$单词的表示形式。$r_i$是$d$维词嵌入初始化的向量，可以通过训练更新。要为给定的文本构建一个图，首先将文本中出现的所有单词视为图的节点。每条边从文本中的一个单词开始，以其相邻的单词结束。具体地，文本$T$的图形被定义为:

其中$N$和$E$是图的节点集和边集，$N$中的单词表示和$E$中的边权重取自全局共享矩阵。$p$表示与图中每个单词相连的相邻单词的数量。此外，将训练集中出现少于$k$次的边统一映射到“public”边，以使参数得到充分训练。如下图

上图：结构图为一个单独的文本“he is very proud of you.”。为了显示方便，在这个图中，为节点“very”(节点和边用红色表示)设置$p$ = 2，为其他节点(用蓝色表示)设置$p$ = 1。在实际情况下，会话期间$p$的值是唯一的。图中的所有参数都来自图底部显示的全局共享表示矩阵。

  与以往构建图的方法相比，该方法可以极大地减少图的节点和边的规模。这意味着文本级图形可以消耗更少的GPU内存。

2.2 Message Passing Mechanism

本文采用空间方法进行卷积以进行消息传递。首先从相邻节点收集信息，并基于其原始表示和收集的信息更新其表示，其定义为:

其中$M_n$∈ $R$${}^d$是节点$n$从其邻居接收的消息；$m$$a$$x$将每个维度上的最大值组合起来，形成一个新的向量作为输出。$N$${}^p$${}_n$表示表示原文中$n$个最接近的$p$个单词的节点；$e$${}_a$${}_n$∈$R$${}^1$是边权重，并且可以在训练期间更新；$r_n$∈$R$${}^d$表示节点$n$的前一种表示形式，${\eta }_n$∈$R^1$是节点$n$的一个可训练变量，它表示应该保留多少$n$的信息。$r$$’$${}_n$b表示节点n的更新。
最后，文本中所有节点的表示用于预测文本的标签:

其中$W$ ∈ $R$${}^d$${}^{\times }$${}^c$是将向量映射到输出空间的矩阵，$N_i$是文本$i$的节点集。
训练目标最小化交叉熵损失：

其中$g$${}_i$是地面真实标签的“one-hot向量”。

实验

p值影响

消融

（1）取消边之间的权重，性能变差，说明为边设置权重较好。
（2）mean取代max
（3）去掉预训练词嵌入