视频介绍：使用 GAN 创造神奇的生物
为数字视频游戏创作艺术需要高度的艺术创造力和技术知识，同时还需要游戏艺术家快速迭代想法并制作大量资产，通常是在紧迫的期限面前。如果艺术家的画笔不像工具，而更像助手，那会怎样？充当这种画笔的机器学习模型可以在不牺牲艺术选择的情况下减少创造高质量艺术所需的时间，甚至可能增强创造力。
今天，我们展示了Chimera Painter，这是一种经过训练的机器学习 (ML) 模型，可根据用户提供的生物轮廓自动创建完全充实的渲染图。作为演示应用程序，当用户单击“变换”按钮时，Chimera Painter 会向用身体部位标签（例如“翅膀”或“爪子”）分割的生物轮廓添加特征和纹理。下面是一个使用带有预设生物轮廓的演示的示例。
在这篇文章中，我们描述了在 Chimera Painter 背后创建 ML 模型的一些挑战，并演示了如何使用该工具来创建视频游戏就绪资产。
新型模型的原型设计
在开发 ML 模型以生成视频游戏就绪的生物图像时，我们围绕将生物组合成可以相互战斗的新混合体的概念创建了一个数字纸牌游戏原型。在这个游戏中，玩家将从现实世界的动物（例如蝾螈或鲸鱼）的卡片开始，然后通过将它们组合起来（制作可怕的蝾螈鲸嵌合体）使它们变得更强大。这为演示图像生成模型提供了一个创造性的环境，因为可能的嵌合体的数量需要一种方法来快速设计大量可以自然组合的艺术资产，同时仍然保留原始生物的可识别视觉特征。
由于我们的目标是在艺术家输入的指导下创建高质量的生物卡片图像，因此我们根据艺术家的反馈对生成对抗网络(GAN) 进行了实验，以创建适合我们幻想纸牌游戏原型的生物图像。GAN 将两个卷积神经网络相互配对：一个用于创建新图像的生成器网络和一个用于确定这些图像是否是来自训练数据集（在本例中为艺术家创建的图像）的样本的鉴别器网络。我们使用了一种称为条件 GAN 的变体，其中生成器采用单独的输入来指导图像生成过程。有趣的是，我们的方法与其他 GAN 工作完全不同，后者通常专注于照片写实。
为了训练 GAN，我们创建了一个全彩色图像数据集，其中包含改编自 3D 生物模型的单物种生物轮廓。生物轮廓表征了每个生物的形状和大小，并提供了识别个体身体部位的分割图。在模型训练之后，该模型的任务是根据艺术家提供的轮廓生成多物种嵌合体。然后将表现最佳的模型合并到 Chimera Painter 中。下面我们展示了使用该模型生成的一些示例资产，包括单物种生物，以及更复杂的多物种嵌合体。
学习生成具有结构
的生物使用 GAN 生成生物的一个问题是，在渲染图像的细微或低对比度部分时，可能会失去解剖和空间连贯性，尽管这些对人类来说具有很高的感知重要性。这方面的例子可以包括眼睛、手指，甚至可以区分具有相似纹理的重叠身体部位（参见下面亲切地命名的 BoggleDog）。
生成嵌合体需要一个新的非摄影幻想风格的数据集，该数据集具有独特的特征，例如戏剧性的视角、构图和照明。现有的插图存储库不适合用作训练 ML 模型的数据集，因为它们可能受到许可限制、风格冲突或只是缺乏此任务所需的多样性。
为了解决这个问题，我们开发了一种新的艺术家主导的半自动化方法，用于从 3D 生物模型创建 ML 训练数据集，这使我们能够大规模工作并根据需要快速迭代。在此过程中，艺术家将创建或获取一组 3D 生物模型，每种生物类型对应一个模型（例如鬣狗或狮子）。艺术家随后使用虚幻引擎制作了两组纹理叠加在 3D 模型上— 一个具有全彩色纹理（左图，下图），另一个具有每个身体部位（例如，头部、耳朵、颈部等）的纯色纹理，称为“分割图”（右图，下图）。第二组身体部位片段在训练时提供给模型，以确保 GAN 了解各种生物的身体部位特定结构、形状、纹理和比例。
3D 生物模型都放置在一个简单的 3D 场景中，再次使用虚幻引擎。然后，一组自动化脚本将获取此 3D 场景，并在每个 3D 生物模型的不同姿势、视点和缩放级别之间进行插值，从而创建构成 GAN 训练数据集的全彩色图像和分割图。使用这种方法，我们为每个 3D 生物模型生成了 10,000 多个图像 + 分割图对，与手动创建此类数据（每张图像大约 20 分钟）相比，为艺术家节省了数百万小时的时间。
微调
GAN 有许多不同的超参数可以调整，导致输出图像的质量不同。为了更好地了解该模型的哪些版本比其他版本更好，艺术家们获得了这些模型生成的不同生物类型的样本，并要求将它们筛选为几个最佳示例。我们收集了有关这些示例中出现的所需特征的反馈，例如深度感、生物纹理方面的风格以及面部和眼睛的真实感。该信息用于训练模型的新版本，并在模型生成数十万张生物图像后，从每个生物类别（例如瞪羚、猞猁、大猩猩等）中选择最佳图像。
我们通过关注感知损失来为这项任务调整 GAN。这个损失函数组件（也在Stadia 的 Style Transfer ML 中使用）使用从单独的卷积神经网络 (CNN) 提取的特征来计算两个图像之间的差异，该卷积神经网络之前在ImageNet数据集的数百万张照片上进行了训练。这些特征是从 CNN 的不同层中提取的，并对每个层应用权重，这会影响它们对最终损失值的贡献。我们发现这些权重对于确定最终生成的图像的外观至关重要。下面是来自使用不同感知损失权重训练的 GAN 的一些示例。
上图中的一些变化是由于数据集包含每个生物的多个纹理（例如，蝙蝠的红色或灰色版本）。然而，忽略着色，许多差异与感知损失值的变化直接相关。特别是，我们发现某些值带来了更清晰的面部特征（例如，右下角与右上角）或“平滑”与“图案”（右上角与左下角），使生成的生物感觉更真实。
下面是一些由 GAN 生成的生物，这些生物经过不同的感知损失权重训练，展示了模型可以处理的输出和姿势的小样本。
Chimera Painter
经过训练的 GAN 现在可以在Chimera Painter 演示中使用，让艺术家可以迭代地使用模型，而不是从头开始绘制数十种类似的生物。艺术家可以选择一个起点，然后调整生物部件的形状、类型或位置，从而实现快速探索和创建大量图像。该演示还允许上传在外部程序（如 Photoshop）中创建的生物轮廓。只需下载一个预设的生物轮廓以获得每个生物部分所需的颜色，并将其用作在 Chimera Painter 外部绘制一个的模板，然后使用演示中的“加载”按钮使用此轮廓来充实您的创建。
我们希望这些 GAN 模型和 Chimera Painter 演示工具可以启发其他人对他们的艺术管道进行不同的思考。使用机器学习作为画笔可以创造什么？
更新说明：优先更新微信公众号“雨夜的博客”，后更新博客，之后才会陆续分发到各个平台，如果先提前了解更多，请关注微信公众号“雨夜的博客”。
博客来源：雨夜的博客