Phrase-Based & Neural Unsupervised Machine Translation
论文:Phrase-Based & Neural Unsupervised Machine Translation
代码:Github
这篇Paper是EMNLP 2018的best paper,用于实现无监督机器翻译,不过无监督机器翻译的思想早就有研究者提出来了,这篇paper是在前人的基础上做了一些优化改进,使得模型更加容易训练,效果也有所提升。作者提出了两个模型,一个是NMT(神经机器翻译)模型,另一个是PBSMT(基于短语的统计机器翻译)模型。
作者的工作主要体现在以下两个方面:
- 对于一些相近的语言,作者提出了一种更加简单高效的初始化方法
- 作者总结了无监督机器翻译的三个原则,并把他们应用到PBSMT,发现效果比NMT还要好。
- 结合NMT和PBSMT效果可以得到进一步提升
无监督机器翻译的三个关键点
初始化
对于机器翻译问题的病态性,模型初始化是一种自然先验,代表了我们期待的解空间的分布。许多模型采用双语字典,得到逐个词翻译的结果,并以此作为初始化。这样会导致最终翻译的结果不可避免的具有源语言的语法特性。
语言模型
通过在单一语种上训练的语言模型,可以让模型学习到每一种语言中的句子该如何使用。可以提升句子的合理度,通顺度。
迭代反向翻译(Iterative Back-translation)
这里的思路就有点像CV里面的cycleGAN了,先把源语言翻译成目标语言,然后在翻译回来。把一个无监督问题变为了一个有监督问题。
作者提出的无监督机器翻译方法
符号介绍:
表示源句子空间,
表示目标句子空间。
表是源语言的语言模型,
表示目标语言的语言模型。
表示源语言到目标语言的翻译模型,反之亦然。作者方法思路如下:
思路框架很简单:
- 训练语言模型:训练 , ,使得对于任意一个句子,都可以给出其出现的概率。语言模型其实就是判断句子合理程度的一个方式
- 初始化翻译模型:根据语言模型初始化翻译模型。
- 迭代优化:通过Back-translation, 逐步迭代优化模型。