原文链接
本文发表于人工智能领域顶级会议 AAAI 2018
摘要
在情感分类任务中，人们关注的往往是一句话中所表露出情感的“最重要”的一部分，比如在美团上经常会有这种评价：“这家店的菜做的不错，但是服务特别差！”，而对于餐厅管理者来说，这条评论他们最关注的是“这家店服务特别差”这个部分，即整个句子对他们餐厅所表现出来的情感是“不满意”的。本文提出一种方案，通过将句子中的重要部分标记为“target words”，然后分析句中“target words”的情感，本文通过将常识给添加到网络中来增加情感分析的准确度，实验表明效果优于目前现有的最新模型。
模型
本文是基于传统的双向LSTM来做的，分成如下几个步骤：
- 把句子序列中每一个词通过w2v预训练出来的词向量送入双向LSTM中，每个词会得到一个隐状态
- 对target words 的隐状态单独做attention，得到对应的target words attention 向量
- 接着把步骤2得到的target words attention 向量和步骤1得到的所有隐状态向量给concat起来，再做一次attention。
- 将步骤3得到的attention向量经过一个全连接层和一个softmax输出层，得到最终的分类概率输出。
在上述传统双向LSTM的模型基础之上，本文做的主要改动就是增加了常识的输入，本文使用了一个叫做SenticNet的工具，它包括了50000多个concept，每个concept会在多个分类上有不同的score，比如：
“win lottery”这个concept在“Arises-joy”的分类上有非常高的score，但在“KindOf-food”的分类上的score非常低。如下表所示：
| concept | KindOf-food | Arises-joy | IsA-pet |
|---|---|---|---|
| dog | 0 | 0.789 | 0.981 |
| cupcake | 0.922 | 0.910 | 0 |
| win lottery | 0 | 0.991 | 0 |
很显然，SenticNet的数据会非常的稀疏，因为一个concept在大多数的分类上的“score”都会是0，只有少部分是非0的，这种稀疏数据很难直接作为神经网络的输入。
本文为了解决上述问题，引用了 AffectiveSpace (Cambria et al. 2015)提出的“dimension reduction”方法，通过该方法可以将稀疏数据降维，并且能保留数据中的主要信息，本文通过该方法将concept的score向量降维，然后和输入向量进行concat后再送入网络。
本文为了提高效果，还在LSTM的cell中增加了一个用来调整向下一个state传递的concept流量大小的concept gate
最终通过实验证明，效果比不加入concept的score向量时要好很多。