贴一下汇总贴：论文阅读记录
一、摘要
方面-目标情感分类(ATSC)是基于方面的情感分析(ABSA)的一个子任务，在电子商务等领域有着广泛的应用，可以利用来自评论的数据和见解为企业和客户创造价值。近年来，深度迁移学习方法已成功地应用于包括ATSC在内的各种自然语言处理任务。在著名的BERT语言模型的基础上，我们采用了两个步骤来实现ATSC：自监督的领域特定的BERT语言模型微调，然后是监督的任务特定的微调。我们关于如何最好地利用领域特定语言模型微调的发现，使我们能够在SemEval 2014 Task 4 restaurants数据集上产生最新的顶级性能。此外，为了探索我们的模型在现实世界中的稳健性，我们执行了跨域评估。我们表明，跨领域适应的BERT语言模型比强基线模型(如vanilla BERT-base和XLNet-base)表现得显著更好。最后，我们进行了一个案例研究来解释模型预测误差。
二、结论
我们先在特定领域语料库上对预先训练的BERT模型进行微调，然后在下游分类任务上进行训练，在方面目标情感分类任务上进行实验。
我们分析了领域特定的BERT语言模型微调步骤的数量与最终任务性能的关系。
有了关于如何最好地利用BERT语言模型微调的发现，我们能够训练高性能模型，其中在SemEval 2014 Task 4 restaurants dataset上训练的模型达到了最新的性能。
我们进一步跨领域评估我们的模型，以探索方面目标情感分类的鲁棒性。我们发现，在我们的设置下，这个任务在笔记本电脑和餐馆领域之间转移得很好。
作为一个特例，我们进行了跨领域适应实验，其中BERT语言模型在目标领域上进行了特别微调。我们在未适应的模型上取得了显著的改进:一个跨领域适应的模型比在领域内训练的伯特基模型表现得更好。
总之，我们的研究结果为后续的工作指明了方向。基于xlnet的模型在ATSC任务中执行能力很强。在这里，特定于领域的微调可能会带来显著的性能改进。未来工作的另一个有趣方向是研究一个额外领域的跨领域行为，比如酒店领域，它更类似于餐馆领域。
三、BERT Language Model Finetuning
掩蔽语言模型（Masked Language Model Objective）
序列A和B有随机掩蔽的标记以便模型学习预测它们。下面的例子展示了特定领域的微调如何减轻在维基百科语料库上进行预培训的偏见:“触摸屏是一个(遮罩)设备”。在维基百科以事实为基础的语境中，[掩码]可能是“输入”，而在评论领域，典型的猜测可能是一般观点词“惊人”。
下一句话预测（Next-Sentence Prediction）
为了训练BERT更好地捕捉长期依赖关系，该模型被训练来预测序列B是否遵循序列A。如果是这样，序列A和序列B将按照它们自然出现的顺序从同一文档中共同采样。否则，从训练语料库中随机抽取序列。
其他相关研究
- Aspect-Target情绪分类（Aspect-Target Sentiment Classification）
- 通过语言模型微调来适应领域（Domain Adaptation through Language Model Finetuning）
其中通过语言模型微调来适应领域中，结合微调和培训步骤，可以得到九种不同的评估方案，可以将它们分为以下四类:
