MaskGAN（2018-ICLR）

MaskGAN

结构：Seq2Seq

Generator

对于离散序列$x$=（$x_1$，····，$x_T$），生成一个长度相同的二进制掩码$m$=（$m_1$，···，$m_T$），其中每个$m_T$$\in${ $0$,$1$}，选择将保留哪些标记。如果掩码为$0$，则时间$t$，$x_t$处的令牌被替换为特殊掩码令牌，如果掩码为$1$，则保持不变。
编码器读取mask序列，将其表示为$m$（$x$），其中掩码是按元素应用的。编码器在解码期间为MaskGAN提供对未来上下文的访问。解码器的条件是mask文本$m$（$x$）以及它在此之前填充的内容。生成器将序列上的分布分解为有序的条件序列:

Discriminator具有与Generator相同的体系结构，但输出是每个时间点的标量概率，而不是词汇表大小的分布。

必须给鉴别器一个真实的上下文，否则，该算法就有一个临界失效模式。例如，在没有上下文的情况下，如果给鉴别器“the director director guided the series”的填充序列，那么它将无法可靠地将director—— director二元组识别为假文本，尽管这个二元组可能从未出现在训练语料库中（除了错误的打字错误）。原因是不清楚director的两个出现中哪一个是假的；theassociatedirector guided the series ，或者the directorexpertlyguided the series都是潜在的有效序列。在没有上下文的情况下，鉴别器赋予两个词相同的概率。当然，对于Generator这是一个不准确的学习信号，这将不会正确地惩罚产生这些二元组。为了防止这种情况的发生，在给定mask序列$m$（$x$）的真实上下文情况下。鉴别器$D_{\phi }$计算每个token:$x$${}^{-}$${}_t$为真实值的概率。

判别器估计的对数被视为reward

第三个网络是critic网络，它被实现为一个附加的head-off鉴别器。critic估计值函数，即填充序列
的总收益，其中γ是序列中每个位置的贴现因子

训练

策略梯度