深度学习d7：目标检测基础；图像风格迁移；图像分类案例1

目标检测基础

目标检测算法通常会在输入图像中采样大量的区域，然后判断这些区域中是否包含我们感兴趣的目标，并调整区域边缘从而更准确地预测目标的真实边界框（ground-truth bounding box）。

• 锚框

  以每个像素为中心生成多个大小和宽高比（aspect ratio）不同的边界框。

• 生成多个锚框：

  假设输入图像高为 $h$，宽为 $w$。我们分别以图像的每个像素为中心生成不同形状的锚框。设大小为 $s\in (0,1]$且宽高比为 $r > 0$，那么锚框的宽和高将分别为 $ws\sqrt{r}$和 $hs/\sqrt{r}$。

  通常只对包含 $s_1$或 $r_1$的大小与宽高比的组合感兴趣，也就是说，以相同像素为中心的锚框的数量为 $n+m-1$。对于整个输入图像，我们将一共生成 $wh(n+m-1)$个锚框。（其中n是锚框大小的数量，r是宽高比的数量）

  以上生成锚框的方法已实现在MultiBoxPrior函数中。指定输入、一组大小和一组宽高比，该函数将返回输入的所有锚框。

  	X = nd.random.uniform(shape=(1, 3, h, w))  # 构造输入数据
  	#Y的size和ratio分别是锚框大小和比例
  	Y = contrib.nd.MultiBoxPrior(X, sizes=[0.75, 0.5, 0.25], ratios=[1, 2, 0.5])
  

• 交并比

  Jaccard系数（Jaccard index）可以衡量两个集合的相似度。给定集合 $\mathcal{A}$和 $\mathcal{B}$，它们的Jaccard系数即二者交集大小除以二者并集大小：
  $J(\mathcal{A},\mathcal{B}) = \frac{\left|\mathcal{A} \cap \mathcal{B}\right|}{\left| \mathcal{A} \cup \mathcal{B}\right|}.$

• 标注训练集的锚框

  为了训练目标检测模型，我们需要为每个锚框标注两类标签：
  一是锚框所含目标的类别，简称类别；
  二是真实边界框相对锚框的偏移量，简称偏移量（offset）。

  在目标检测时，我们首先生成多个锚框，然后为每个锚框预测类别以及偏移量，接着根据预测的偏移量调整锚框位置从而得到预测边界框，最后筛选需要输出的预测边界框。

  假设图像中锚框分别为 $A_1, A_2, \ldots, A_{n_a}$，真实边界框分别为 $B_1, B_2, \ldots, B_{n_b}$，且 $n_a \geq n_b$。定义矩阵 $\boldsymbol{X} \in \mathbb{R}^{n_a \times n_b}$，其中第 $i$行第 $j$列的元素 $x_{ij}$为锚框 $A_i$与真实边界框 $B_j$的交并比。

  首先，我们找出矩阵 $\boldsymbol{X}$中最大元素，并将该元素的行索引与列索引分别记为 $i_1,j_1$。我们为锚框 $A_{i_1}$分配真实边界框 $B_{j_1}$。显然，锚框 $A_{i_1}$和真实边界框 $B_{j_1}$在所有的“锚框—真实边界框”的配对中相似度最高。接下来，将矩阵 $\boldsymbol{X}$中第 $i_1$行和第 $j_1$列上的所有元素丢弃。找出矩阵 $\boldsymbol{X}$中剩余的最大元素，并将该元素的行索引与列索引分别记为 $i_2,j_2$。我们为锚框 $A_{i_2}$分配真实边界框 $B_{j_2}$，再将矩阵 $\boldsymbol{X}$中第 $i_2$行和第 $j_2$列上的所有元素丢弃。此时矩阵 $\boldsymbol{X}$中已有两行两列的元素被丢弃。

  依此类推，直到矩阵 $\boldsymbol{X}$中所有 $n_b$列元素全部被丢弃。这个时候，我们已为 $n_b$个锚框各分配了一个真实边界框。

  接下来，我们只遍历剩余的 $n_a - n_b$个锚框：给定其中的锚框 $A_i$，根据矩阵 $\boldsymbol{X}$的第 $i$行找到与 $A_i$交并比最大的真实边界框 $B_j$，且只有当该交并比大于预先设定的阈值时，才为锚框 $A_i$分配真实边界框 $B_j$。

• 输出预测边界框

  当锚框数量较多时，同一个目标上可能会输出较多相似的预测边界框。为了使结果更加简洁，我们可以移除相似的预测边界框。常用的方法叫作非极大值抑制（non-maximum suppression，NMS）。
  对于一个预测边界框 $B$，模型会计算各个类别的预测概率。设其中最大的预测概率为 $p$，该概率所对应的类别即 $B$的预测类别。我们也将 $p$称为预测边界框 $B$的置信度。在同一图像上，我们将预测类别非背景的预测边界框按置信度从高到低排序，得到列表 $L$。从 $L$中选取置信度最高的预测边界框 $B_1$作为基准，将所有与 $B_1$的交并比大于某阈值的非基准预测边界框从 $L$中移除。这里的阈值是预先设定的超参数。此时， $L$保留了置信度最高的预测边界框并移除了与其相似的其他预测边界框。

图像风格迁移

使用卷积神经网络自动将某图像中的样式应用在另一图像之上。

两张输入图像，一张是内容图像，另一张是样式图像，我们将使用神经网络修改内容图像使其在样式上接近样式图像。

• 方法

  首先，我们初始化合成图像，例如将其初始化成内容图像。该合成图像是样式迁移过程中唯一需要更新的变量。

  然后，选择一个预训练的卷积神经网络来抽取图像的特征，其中的模型参数在训练中无须更新。

  这里选取的预训练的神经网络含有3个卷积层，其中第二层输出图像的内容特征，而第一层和第三层的输出被作为图像的样式特征。

  接下来，我们通过正向传播（实线箭头方向）计算样式迁移的损失函数，并通过反向传播（虚线箭头方向）迭代模型参数，即不断更新合成图像。

  样式迁移常用的损失函数由3部分组成：内容损失（content loss）使合成图像与内容图像在内容特征上接近，样式损失（style loss）令合成图像与样式图像在样式特征上接近，而总变差损失（total variation loss）则有助于减少合成图像中的噪点。最后，当模型训练结束时，我们输出样式迁移的模型参数，即得到最终的合成图像。

• 预处理和后处理图像

  预处理函数preprocess对输入图像在RGB三个通道分别做标准化，并将结果变换成卷积神经网络接受的输入格式。后处理函数postprocess则将输出图像中的像素值还原回标准化之前的值。

• 抽取特征

  一般来说，越靠近输入层的输出越容易抽取图像的细节信息，反之则越容易抽取图像的全局信息。为了避免合成图像过多保留内容图像的细节，我们选择VGG较靠近输出的层，也称内容层，来输出图像的内容特征。我们还从VGG中选择不同层的输出来匹配局部和全局的样式，这些层也叫样式层。

• 定义损失函数

  内容损失：
  通过平方误差函数衡量合成图像与内容图像在内容特征上的差异。

  样式损失：
  也通过平方误差，用格拉姆矩阵表达样式层输出的样式。自然地，样式损失的平方误差函数的两个格拉姆矩阵输入分别基于合成图像与样式图像的样式层输出，且各个样式层的格拉姆矩阵将在训练前预先计算好。。

  总变差损失：
  一种常用的降噪方法是总变差降噪（total variation denoising）。假设 $x_{i,j}$表示坐标为 $(i,j)$的像素值，降低总变差损失
  $\sum_{i,j} \left|x_{i,j} - x_{i+1,j}\right| + \left|x_{i,j} - x_{i,j+1}\right|$
  能够尽可能使邻近的像素值相似。

  损失函数：
  即内容损失、样式损失和总变差损失的加权和。

图像分类案例1

从原始的图像文件开始，一步步整理、读取并将其变换为NDArray格式。

• 获取和整理数据集

  我们接下来定义reorg_train_valid函数来从原始训练集中切分出验证集。以valid_ratio=0.1为例，由于原始训练集有50,000张图像，调参时将有45,000张图像用于训练并存放在路径input_dir/train下，而另外5,000张图像将作为验证集并存放在路径input_dir/valid下。经过整理后，同一类图像将被放在同一个文件夹下，便于稍后读取。

• 图像增广

  为应对过拟合，可采取对图像做镜面翻转，对彩色图像RGB三个通道分别做标准化等。