基于多阶段生成对抗网络的延时摄影视频的生成

基于多阶段生成对抗网络的延时摄影视频的生成

这篇论文中视频预测的目的是在给出开始帧的情况下预测逼真的、long-term、高质量的未来帧，未来帧主要包含两个方面的内容：视频内容和运动动态。下面是要得到这两个方面所存在的困难：

1、视频内容生成：

主要的问题是定义学习什么。

模型仅仅基于一张静态的图片（开始帧）要生成未来帧，由于未来的不确定性，那么生成的视频就有很多种合理的结果，导致目标函数难以确定。通过在生产对抗网络中加入3D卷积来建模这种转换，可以得到貌似合理的结果，但是视频模糊且缺少内容细节。造成这种结果的原因有可能是生成器中的encoder-decoder结果没有很好的保留视频内容的必要细节。

2、运动动态

主要问题是在给出帧的情况下，使它能够随时间进行逼真的转换。

之前也有一些工作调研了这个问题，使用的是RNN网络，但是RNN网络可以生成运动模型，但是不真实，可能是因为每一帧都是基于先前帧的状态，导致错误积累和运动扭曲。那么视频序列生成过程中信息损失和错误积累就会阻碍未来帧预测的成果。

用一个单个模型同时生成每一帧都有逼真的内容且帧之间有生动运动的视频是十分重要的，但是单个模型的表示能力有限，不能同时满足两个要求，为解决这个问题，作者提出了MD-GAN（Multi-stage Dynamic GeneratIve adversarial Network），模型结构如下：

扫描二维码关注公众号，回复： 2830895 查看本文章

模型由两个阶段构成，分别称为Base-net和Refine-net。Base-net在给定输入帧的情况下生成带有逼真内容细节的未来帧，Refine-net处理运动模型，使得相邻帧之间运动动态更加的生动，同时保留逼真的内容。下面是详细的结构介绍：

第一阶段：Base-net

输入一张RGB图像作为开始帧，复制T次，得到一个静态视频，通过3D卷积层和反卷积层前向传播得，生成器G1输出视频Y1。生成器的结构采用3D U-net结构，使得编码器中的特征得到充分的利用从而生成Y1，这个结构是通过引入skip connections 实现的，skip connections 在上层和底层的特征之间建立一个信息捷径，使得特征能够重复使用。通过这个方法，所生成的视频就有很大可能包含丰富的内容细节。

判别器输入为X和Y1，结构和生成器的编码器结构一样，除了最后一层是一个带有sigmoid函数的sigmoid节点。

Base-net的对抗损失如下：

加入Content损失能进一步保证生成视频的内容更加接近真实的内容，content loss如下：

那么Base-net最终的损失函数如下：

Base-net能够产生带有逼真内容的视频，但是单个GAN表示能力有限，不能捕获到真实视频的运动模式，从而生成视频的运动动态就并不真实，因此有了Refine-net。

第二阶段：Refine-net

Refine-net的输入是Base-net的输出Y1，结构和第一阶段类似，主要由两个改变：1、skip connections有利于视频内容的生成但是对于运动动态没有多大的帮助，因此减少了生成器中的skip connection（保留3）；2、若保留和Base-net一样的损失函数的话，运动模型并不会有提升，为了使网络能够学习到有效的时间转换，提出了对抗排名损失（adversarial ranking loss），使得生成的视频更接近真实视频，同时远离Y1，对抗损失排名是关于Y1、Y2以及真实视频X的，通过它，可以有效的利用特征来表示帧间的运动动态。为了更加有效的生成帧间的运动动态，还使用了Gram矩阵。

对于输入图像，用判别器D2抽取特征，然后用这些特征计算Gram矩阵，这样的话就包含了丰富的运动动态，最后得到一个排名。

对抗排名损失如下：