第十三章 深度生成模型
第十三章 深度生成模型
概率生成模型
生成模型一般具有两个基本功能:密度估计和生成样本。
概率密度估计
生成样本
应用于监督学习
变分自编码器
含隐变量的生成模型
变分自编码器(Variational AutoEncoder，VAE)是一种深度生成模型，其思想是利用神经网络来分别建模两个复杂的条件概率密度函数。
变分自编码器的名称来自于其整个网络结构和自编码器比较类似。推断网 络看作是“编码器”，将可观测变量映射为隐变量。生成网络可以看作是“解码 器”，将隐变量映射为可观测变量。但变分自编码器背后的原理和自编码器完全不同。变分自编码器中的编码器和解码器的输出为分布(或分布的参数)，而不是确定的编码。
推断网络
推断网络的目标
生成网络
生成网络的目标
模型汇总
训练
生成对抗网络
显式密度模型和隐式密度模型
网络分解
判别网络
生成网络
训练
一个生成对抗网络的具体实现:DCGAN
模型分析
训练稳定性
模型崩塌
改进模型
在生成对抗网络中，JS 散度不适合衡量生成数据分布和真实数据分布的距离。如果通过优化交叉熵(JS 散度)训练生成对抗网络会导致训练稳定性和模型坍塌问题，因此要改进生成对抗网络，就需要改变其损失函数。
W-GAN
