【论文简介】CollageGAN: Collaging Class-specific GANs for Semantic Image Synthesis(用于语义图像合成的特定类拼贴GANs)

项目主页：https://yuheng-li.github.io/CollageGAN/ | github-空项目 | paper
在这里插入图片描述
图1：语义条件下高分辨率的图像生成（左上角黄色插图）。我们的基本模型（第1列）比spade（第4-5列）产生更现实的结果。
我们通过使用特定于类的生成器来生成前景对象或部件，并将它们组合在（compose them on）由基本模型生成的图像上（已基本结果作为输入，到特定类别GAN），从而进一步提高了结果的质量。第二列的分割图（蓝色插图）显示了被我们的gan库修改的部分，放大的结果显示在每个图像旁边

摘要

提出了一种高分辨率语义图像合成的方法（semantic image synthsis）。
它由一个基本图像生成器(base generator)和多个特定类（mutiple class-specific）的生成器构成。

基础生成器基于分割图（segmentation map）生成高质量的图像，为了进一步改善不同目标品质，我们通过单独训练特定类的模型（ separately training class-specific models）创建了一个生成对抗网络。
这有几个好处：

包括每个类的专用权重(dedicated weights)；
为每个模型集中对齐的数据(centrally aligned data)
来自其他来源的额外训练数据（additional），具有更高的分辨率和质量的潜力
并且易于操作(manipulation)场景中的特定对象(specifc object)。

实验表明，该方法可以生成高分辨率的高分辨率图像，同时使用特定于类的生成器具有对象级控制的灵活性（flexi-bility of object-level contral）

3. 方法

图2 基础与特定生成器的结构

在这里插入图片描述
基础和特定类别生成器的结构是一直的。。作者修改了StyleGAN2的结构，将输入常数替代为编码器的输出，z也添加了编码器的输出。

训练流程

图3 本文的训练推理流程

在训练期间，我们基本的生成器训练产生整张图片，而我们的特定类的生成器使用裁剪后删除对象信息的真实图像（阴影区域填充零或对象的低频信息），并将裁剪分割地图作为上下文信息来生成相应类的实例。
在推理的时候，基本生成器（base generator）首先生成整个图像，然后由特定类的生成器(class-specific generators)依次(sequentially)生成图像的特定区域，同时将前一个生成器的输出作为上下文（as context）。c&r 是指裁剪和实例信息删除操作注意，为了简单起见，我们不会在推理管道中显示裁剪的语义映射作为特定类模型的输入
在这里插入图片描述

4. 实验

数据集

卧室数据集

74318张，来自 ADE20K-bedroom-category

全身人类数据集

67560张，高分辨率标记图片，24个类别语义标记、10%作为测试集
模糊了背景

Cityscape

3000train，500测试的德国街景图片。

训练补充数据集

we use (4) iMaterialist [6] and (5) Indoor dataset (childs room, dining room and living room from places dataset [40]).
For cityscapes, we use (6)Cityscapes extra [4] and (7) Caltech Pedestrian。