神经风格迁移

本文来自于网易云课堂

什么是神经风格转换

深度卷积网络在学什么？

可以这么理解，每一层的每个单元都对应着不同的特征，如果检测到这个特征，那么这个单元就会被激活。

代价函数

要构建一个神经风格迁移系统，让我们为生成的图像定义一个代价函数。下面你会看到通过最小化代价函数你可以生成任何你想要的图像。记住我们的目标，给定一个图片C和风格图片S，你的目标是生成图片G。为了实现这个目标，你要做的就是定义一个代价函数J(G)用来评判某个生成图片的好坏。怎么评判呢？我们将J分成2个部分，一个部分称为内容代价函数$J_{content}(C,G)$，它用来衡量生成图片G的内容与图片C有多相似。另一个部分称为风格代价函数$J_{style}(S,G)$，它用来衡量生成图片G的风格与图片S有多相似，最后引入两个超参数$\alpha$$\beta$来确定两者的权重。虽然2个超参数看起来是多余的，但是提出这个论文的作者使用的是2个，所以我们也保持一致。这个论文不是很难，可以去看看。

内容代价函数

风格损失函数

图片的风格到底是什么意思呢？风格定义为不同通道之间激活项的相关系数。

相关系数描述的就是当垂直条纹出现时，很容易那个区域是橙色的。相关系数为你提供了一种衡量不同特征的方法。

对于这两个图形，即风格图像和生成图像，你需要计算一个风格矩阵。下图给出了k和k‘通道之间的相关系数计算。严格的说下式并不是标准的互相关函数因为它没有减去平均数而直接相乘了。首先获得S的风格矩阵，然后计算G的风格矩阵，之所以用G来表示是因为在线性代数中这种矩阵也称作Gram矩阵，但在这里我们称之为风格矩阵。

那么损失函数就是范式矩阵然后归一化

上面只是一层的，如果要对整个网络进行计算，则有

一维到三维推广

现在考虑一维和三维的扩展。