「自然语言处理（NLP）」【Borealis AI】跨域文本连贯性生成神经网络模型！！

来源：AINLPer微信公众号（点击了解一下吧）
编辑: ShuYini
校稿: ShuYini
时间: 2020-1-12

TILE: A Cross-Domain Transferable Neural Coherence Model
Contributor : Borealis AI
Paper: https://www.aclweb.org/anthology/P19-1067.pdf
Code: None

文章摘要

连贯性是文本质量评估的一个重要方面，也是保证其可读性的关键。现有连贯性模型的一个重要限制是，在一个域上进行训练不会轻易地推广到其他领域的文本类别。先前的工作（Li和Jurafsky，2017）主张跨域泛化的生成模型，因为判别模型，训练过程中要区分的不连贯句子顺序的空间过大。在这项工作中，我们提出了一个具有较小负采样空间的局部判别神经模型，该模型可以有效地学习错误的排序且该模型结构简单，并在华尔街的标准基准数据集上明显优于以前的最新方法期刊语料库，以及在转移到Wikipedia文章上看不见的论述类别的多个新的挑战性环境中。

文章贡献

1、纠正了这样一个误解，即使用新型的局部判别神经模型，判别模型无法很好地概括跨域一致性评分
2、提出了一套具有更加复杂的跨域一致性评估数据集。。
3、本文方法在以前的封闭域WSJ数据集以及所有开放域的WSJ数据集上都大大优于以前的方法，从而让判决建模技术更上一步。
4、本文方法即使使用最简单的句子编码器（平均GloVe），也经常优于以前的方法，而通过使用更强大的编码器可以获得更高的准确性。

文章主要内容

模型介绍

本文提出了局部连贯判别模型（LCD），其操作假设是文档的全局判别是可以通过连续句子对之间连贯分数的平均值来近似的。（本文作者针对这个假设也做验证）就目前而言，这种简化使我们能够将学习问题投射为：将训练文档（假设为连贯的）中的连续句子对 $(s_i，s_{i + 1})$ 与不连贯的句子对 $(s_i，s_0)$ 进行区分（要构造的负数对）。
**训练目标：**正式地，本文判别模型 $f_θ(.,.)$ 一个句子对并返回一个分数。得分越高，输入对的连贯性就越高。那么我们的训练目标是： **损失函数：**通过实验验证，我们发现该问题的边缘损失更好。具体而言，L采用以下形式： $L（f^+，f^-）= max(0，η-f^+ + f^-)$ ，其中η是余量超参数。
**负采样：**从技术上讲，我们可以自由选择任何句子s0与si形成否定对。但是，由于类型，主题和写作风格的潜在差异，这些否定因素可能会导致判别模型学习与连贯性无关的线索。因此，我们仅从同一文档中选择句子以构造否定对。

模型结构

用于 $f_θ$ 的特定神经体系结构如上图所示。这里我们假设使用一些预训练的句子编码器。
给定一个输入句子对，句子编码器将这些句子映射到实值向量S和T。然后，我们计算以下特征的串联：（1）两个向量（S，T）的串联；（2）逐元素差异S -T; （3）逐元素乘积S ∗ T; （4）元素方向差的绝对值| S-T |。然后将级联的特征表示馈送到单层MLP以输出连贯得分。
在实践中，我们通过训练具有输入（S，T）的正向模型和具有相同架构但参数分开的具有输入（T，S）的反向模型来使我们的整体一致性模型成为双向的。那么，一致性得分就是两个模型的平均值。
本文模型可以与任何预训练的句子编码器一起使用，从最简单的平均GloVe嵌入到更复杂的有监督或无监督的预训练句子编码器。如引言中所述，由于生成模型通常可以转换为句子编码器，因此生成的连贯模型可以被我们的模型利用，以受益于生成训练和判别训练的优势。初始化后，我们冻结生成的模型参数以避免过度拟合。

实验结果

基于Wikipedia创建了一个新的数据集，并设计了三种难度越来越高的跨域评估协议。基于DBpedia3进行定义，我们在Person领域下选择了七个不同类别，从无关领域中选择了另外三个类别。我们解析这些类别中的所有文章，并提取包含10多个句子的段落，以用作培训和评估的段落。该数据集的统计数据如下图所示在《华尔街日报》数据集上评估了判别和插入任务的准确性。判决模型再Wiki-A上的准确率。判决模型再Wiki-C上的准确率。段落顺序重构结果。