Neural Machine Translation by Jointly Learning to Align and Translate阅读笔记

论文原文	Neural Machine Translation by Jointly Learning to Align and Translate
论文信息	ICLR2015
个人解读	Wang Anna & Hytn Chen
更新时间	2020-02-13

机器翻译简介

1980，基于规则的翻译，大致流程就是输入，词性分析，词典查询，语序调整，输出。

1990，基于统计的翻译，为翻译过程建立概率模型，引入隐变量，构造隐变量对数线性模型，设计特征函数，例如2002年学者Och和Ney所提出的模型
$P(\mathbf{y} | \mathbf{x} ; \boldsymbol{\theta})=\sum_{\mathbf{z}} \frac{\exp (\boldsymbol{\theta} \cdot \boldsymbol{\phi}(\mathbf{x}, \mathbf{y}, \mathbf{z}))}{\sum_{\mathbf{y}^{\prime}} \sum_{\mathbf{z}^{\prime}} \exp \left(\boldsymbol{\theta} \cdot \phi\left(\mathbf{x}, \mathbf{y}^{\prime}, \mathbf{z}^{\prime}\right)\right)}$
其中x是已知的源语言，y是目标语言，z就是隐变量。

2013，基于神经网络的翻译，这就是现今主流使用的方法，2014年由Kyunghyun Cho和Sutskever先后提出了一种端到端的模型，直接对源语句和目标语句建立联系，前者将其模型命名为Encoder-Decoder模型，后者将其模型命名为Sequence-to-Sequence模型
$P(\mathbf{y} | \mathbf{x} ; \boldsymbol{\theta})=\prod_{n=1}^{N} P\left(\mathbf{y}_{n} | \mathbf{x}, \mathbf{y}<n ; \boldsymbol{\theta}\right)$
这里n代表目标语言中待预测的第n个词，在此之前的n-1个词都已经预测完毕。模型的目标就是对这样的条件概率概率建模，找到一组合适的参数 $\theta$ ，使得模型逼近真实语境。

相对经典的做法就是采用RNN系列结构，对源语言进行编码，然后再将编码过后的信息进行解码得到目标语言，编码器和解码器都是需要训练的。这个方法的缺点就是，对于任意长度的句子都需要编码为固定维度的向量，不仅造成了信息的丢失，在解码的时候越到后面其依据信息就可能越弱。

针对这个问题，就引入了注意力机制，该篇论文是最早将注意力机制引入机器翻译的论文。

论文整体框架

摘要

论文摘要可分为如下四个部分：

神经机器翻译的任务定义；

概括现阶段神经机器翻译方法，指出Encoder-Decoder模型的缺陷，造成信息丢失；

引入本文提出的自动搜索原句中与预测目标词相关的神经机器翻译模型；

讲述所提出模型的效果。

传统模型怎么做

神经网络的作用就是直接学习前文公式中的条件概率分布，通过学习大量的成对语料，找到输入和输出之间的关系，这就是端到端模型的基本思想，本文所采用的baseline就是Encoder-Decoder模型，模型名称RNNenc，出自文章Learning phrase representations using RNN encoder-decoder for statistical machine translation。

RNNenc的工程流程是这样的，首先源语言一句话，每个词都用词向量表示，之后使用RNN循环地将输入的序列压缩成一个固定维度的向量，直到所有词输入完毕，生成源语言下一句话的向量表示c。

c作为输入，输入到解码器中，再用RNN循环地将目标语言下的单词序列压缩成一个固定维度的向量，和目标语言单词一起压缩的还有前一时刻的隐层状态，前一时刻的预测单词，用公式表示为：
$s_{t}=f\left(c, y_{t-1}, s_{t-1}\right)$
模型直观结构图为：