基于领域感知的嵌入和注意的多领域情感分类
Abstract
在这项工作中，我们提出了一个全新的完全共享的多领域神经情感分类模型来获取领域感知的词嵌入，并利用领域感知的注意机制。我们的模型首先利用BiLSTM进行域分类，并提取出特定于域的词的特征，然后将这些特征与一般的词组合在一起，形成域感知的嵌入词。领域感知的单词嵌入被输入到另一个BiLSTM中以提取句子特征。使用领域感知的句子表示作为查询向量，使用领域感知的注意机制来选择重要特征。
1 Introduction
相同的词在不同的领域可能表示不同的情感，利用所有域的可用资源来提高某些特定域的情感分类性能是值得的。
一种共享私有模型利用共享的句子编码器和私有查询特性从共享的句子表示中选择特定领域的信息。但是，该模型只关注重要词的检测，而忽略了同一词在不同领域的情绪极性的识别。
本文提出了一种新颖的完全共享多任务学习模型。该模型的主要特点是能够学习领域感知的单词嵌入，并利用领域感知的注意机制，在不同领域之间使用完全共享的参数。我们的模型首先利用bill - lstm进行领域分类，并提取单词的领域特定特征，然后将这些特征与通用的单词嵌入相结合，形成领域感知的单词嵌入。领域感知的单词嵌入被输入到另一个bill - lstm中以提取句子特征。使用域感知关注机制通过域感知查询向量选择重要特征。可以看到，我们在不同的领域共享通用的单词嵌入，但是学习每个领域的特定于领域的单词特性。
现有的方法：
- 提取底层特征并使用特定于任务的参数生成输出
- GAN
- 记忆网络提取特征并尝试通过最大化代价函数来混淆域分类器，以保证特征的任务独立性。
- 在多任务学习中，Zheng等人[2018]和Yuan等人[2018]共享特征提取器，但使用注意机制与任务无关的查询向量，针对不同的任务生成不同的表示。
3 Existing MTL Models
现有的模型不能表示同一词在不同领域的不同含义和不同的情绪极性。
4 Our Proposed Model
我们提出的模型的目标是更加关注文本中的重要词，并识别它们在每个特定领域的情绪极性。该模型由两部分组成:领域特征提取与分类、情感特征提取与分类。
为了保证BiLSTM提取域信息，域分类器的训练损失是整个训练损失的一部分。
在关注机制中，针对不同领域的不同文本形成不同的查询向量，以关注用于情感分类的重要词。请注意，这两个部分中的所有参数在不同的域之间完全共享。
4.1 Domain Feature Extraction and DomainClassification
不是偷懒不翻译哈，实在是直接读原文一目了然，没有什么理解障碍。。。