注意：这是一个完整的项目，建议您按照完整的博客顺序阅读。
目录
三、创建CNN模型
1、构建权重和偏置
在搭建神经网络层前，我们先来看下如何初始化神经网络层的权重和偏置参数。这一项非常重要，因为卷积层、全连接层等基本都需要这一步，所以我们先单独拿出来说明。
def __create_weights(self,shape):
return tf.Variable(tf.truncated_normal(shape, stddev=0.05))
def __create_biases(self,size):
return tf.Variable(tf.constant(0.05, shape=[size]))
2、构建卷积层
卷积层的主要功能是进行特征提取。
卷积层的主要操作是使用一个固定尺寸的卷积核以Stride为间隔、以Padding为填充方式扫描输入图的每个通道得到一张新的特征图，一个卷积核完成地扫描一次输入图会得到一张单通道的特征图，所以如果该卷积层有多个卷积核，则生成一张有多个通道的特征图。如下图所示：
该过程涉及到的一些变量如下：
| 英文术语 |
中文释义 |
备注 |
功能 |
|
| 输入层 |
batch_size |
批大小，每次输入的图片数量 |
(1,64,64,3)表示输入层为一张64*64的3通道的图片 |
输出数据 |
| image_size |
图片尺寸，一般长宽相等 |
|||
| color_channel |
颜色通道，彩色图片一般为RGB的3通道 |
|||
| 卷积层 |
filter_size |
卷积核（滤波器）尺寸，一般长宽相等 |
(3,3,3,10)表示使用10个3*3的卷积核处理输入为3通道的图片/特征图，输出为10通道的特征图，根据stride和padding等可以计算特征图的大小 |
特征提取 |
| stride |
步长，卷积核每次扫描的间隔 |
|||
| padding |
边界扩充方式，卷积核扫描时可能会出界 |
|||
| in_channel |
输入通道数，一般为上一层的通道数 |
|||
| out_channel |
输出通道数，与卷积核的数量相等 |
TensorFlow中的常见卷积操作有如下几种类型：
| 卷积类型 |
对应函数名称 |
备注 |
| 卷积操作 |
tf.nn.conv2d |
返回一个简化张量，元素是每个窗口最大值 |
| tf.nn.atrous_conv2d() |
创建一个空洞卷积层（trous是法语，表示有孔） |
|
| tf.nn.depthwise_conv2d() |
创建一个深度卷积层，它独立地将每个滤波器应用到每个输入通道。 |
|
| tf.nn.separable_conv2d() |
创建一个深度可分卷积层 |
|
| 卷积层 |
tf.layers.conv1d() |
创建一个1D输入的卷积层，这很有用，例如在NLP中，一个句子可以表示为一个1D的词数组，并且感受野包含几个相邻的词 |
| tf.layers.conv3d() |
创建一个3D输入的卷积层 |
|
| tf.layers.conv2d_transpose() |
创建一个转置卷积层，有时称为反卷积层，它对图像向上采样。 |
在本项目中，我们使用如下API来构建生成卷积层的方法：
def _conv2d(input,weights,stride,padding='SAME'):
layer = tf.nn.conv2d(input=input, # 输入的原始张量
filter=weights, # 卷积核张量，
strides=[1, stride, stride, 1],#步长
padding=padding)# 边缘填充形式
return layer
上述代码用了 tf.nn.conv2d() 函数来计算卷积，weights 作为滤波器，[1, 2, 2, 1] 作为 strides。TensorFlow 对每一个 input 维度使用一个单独的 stride 参数，[batch, input_height, input_width, input_channels]。我们通常把 batch 和 input_channels （strides 序列中的第一个第四个）的 stride 设为 1，所以我们将该函数进行下简单封装，让我们专注于修改 input_height 和 input_width， batch 和 input_channels 都设置成 1。
接下来我们继续对卷积操作的输出进行处理，整体代码如下：
weights = self.__create_weights(shape=[conv_filter_size, conv_filter_size, num_input_channels, num_filters])
biases = self.__create_biases(num_filters)
layer = _conv2d(input,weights, stride=1)
layer += biases # 添加偏置层
layer = tf.nn.relu(layer) # 对输出进行激活
tf.nn.bias_add() 函数对矩阵的最后一维加了偏置项。
tf.nn.relu() 函数输出进行了激活。
3、构建池化层
池化操作的过程如下：
池化和卷积的操作很像，都是从原始图像中局部采样计算一个新的图像，但是两者的计算方式有很大不同，所以作用也不一样。池化层的主要功能是进行二次采样，减少计算量，避免过拟合。池化层的常用操作有最大池化和平均池化两种方式。
TensorFlow 提供了如下函数，用于对卷积层实现池化操作。
| 池化类型 |
对应函数名称 |
备注 |
| 最大池化 |
tf.nn.max_pool |
返回一个简化张量，元素是每个窗口最大值 |
| tf.nn.max_pool_with_argmax |
返回max_pool张量和 一个展开max_value索引的张量 |
|
| tf.nn.max_pool3d |
基于立方窗口执行max_pool操作，输入有一个额外的深度 |
|
| 平均池化 |
tf.nn.avg_pool |
返回一个简化张量，元素是每个窗口平均值 |
| tf.nn.avg_pool3d |
基于立方窗口执行avg_pool操作，输入有一个额外的深度 |
在本项目中我们使用tf.nn.max_pool()函数进行池化操作，并对其进行了进一步封装：
def __maxpool2d(self,input, stride=2,padding='SAME'):
layer = tf.nn.max_pool(value=input,
ksize=[1, stride, stride, 1],
strides=[1, stride, stride, 1],
padding=padding) # VALID或SAME
return layer
tf.nn.max_pool() 函数实现最大池化时， ksize参数是滤波器大小，strides参数是步长。2x2 的滤波器配合 2x2 的步长是常用设定。ksize 和 strides 参数也被构建为四个元素的列表，每个元素对应 input tensor 的一个维度 ([batch, height, width, channels])，对 ksize 和 strides 来说，batch 和 channel 通常都设置成 1。
现在我们将池化层添加到上一小节的卷积层后面，为了让代码更加简洁，我们这里将池化操作也视为卷积层的一部分，共同封装为一个函数：
def __create_conv_pool_layer(self,input,
num_input_channels,
conv_filter_size,
num_filters):
weights = self.__create_weights(shape=[conv_filter_size, conv_filter_size, num_input_channels, num_filters])
biases = self.__create_biases(num_filters)
layer = self.__conv2d(input=input, weights=weights,stride=1) # 卷积操作
#layer += biases # 添加偏置
layer =tf.nn.bias_add(layer,bias=biases)
layer = tf.nn.relu(layer) # 对层进行激活
layer = self.__maxpool2d(input=layer,stride=2) # 进行池化操作
return layer
我们归纳这个过程，可以得出卷积池化层的构建步骤：
| 顺序 |
步骤说明 |
tf函数 |
备注 |
| 1 |
创建权重矩阵 |
tf.Variable() |
|
| tf.truncated_normal() |
|||
| 2 |
创建偏置矩阵 |
tf.Variable() |
|
| tf.constant() |
|||
| 3 |
添加卷积操作 |
tf.nn.conv2d() |
|
| 4 |
添加偏置部分 |
tf.nn.bias_add() |
也可使用layer += biases代替 |
| 5 |
添加激活函数 |
tf.nn.relu() |
|
| 6 |
添加池化操作 |
tf.nn.max_pool() |
4、构建扁平层
扁平层的主要功能是降低维度。例如输入一个四维数组，我们最终输出一个二维数组。
def __create_flatten_layer(self,layer):
layer_shape = layer.get_shape()#(?, 8, 8, 64)
num_features = layer_shape[1:4].num_elements()# 4096
re_layer = tf.reshape(layer, [-1, num_features])#(?, 4096)
return re_layer
我们归纳这个过程，可以得出扁平层的构建步骤：
| 顺序 |
步骤说明 |
tf函数 |
备注 |
| 1 |
获取旧shape |
tensor.get_shape() |
|
| 2 |
计算新shape |
tensor_shape.num_elements() |
|
| 3 |
修改shape |
tf.reshape() |
5、构建全连接层
CNN模型中的全连接层的主要功能大多是进行分类输出，最后输出层进行估计概率。
| 层 |
英文术语 |
中文释义 |
备注 |
功能 |
| 全连接层 |
num_input |
输入数，一般为上一层的输出数，如果是卷积层则是输出通道数 |
分类输出 |
|
| num_output |
输出数，与该层的神经元数量相同 |
|||
| ReLU |
常用激活函数 |
|||
| 输出层 |
num_input |
输入数，一般为上一层的输出数，如果是卷积层则是输出通道数 |
输出层本质上也是一个全连接层，但是其激活函数与其他全连接层又有所区别，所以单独拿出来。 |
估计概率 |
| num_output |
输出数，与该层的神经元数量相同 |
|||
| softmax |
针对分类问题的专用激活函数 |
我们直接看下全连接层的构建步骤：
weights = self.__create_weights(shape=[num_inputs, num_outputs])
biases = self.__create_biases(num_outputs)
layer = tf.matmul(input, weights) + biases
layer = tf.nn.dropout(layer, keep_prob=0.7)
if use_relu:
layer = tf.nn.relu(layer)
我们归纳这个过程，可以得出全连接层的构建步骤：
| 顺序 |
步骤说明 |
tf函数 |
备注 |
| 1 |
创建权重矩阵 |
tf.Variable() |
|
| tf.truncated_normal() |
|||
| 2 |
创建偏置矩阵 |
tf.Variable() |
|
| tf.constant() |
|||
| 3 |
组合权重偏置 |
tf.matmul() |
tf.matmul(input, weights) + biases |
| 4 |
添加dropout |
tf.nn.dropout() |
|
| 5 |
添加激活函数 |
tf.nn.relu() |
|
| tf.nn.softmax |
6、构建CNN模型
我们有了上面的各个层的搭建方法，我们就可以直接将它们串联起来组合成创建CNN模型的方法，但是只有这个是不够的，我们要创建成TensorFlow可以训练的模型，就需要添加一些细节：
| 顺序 |
步骤说明 |
tf函数 |
备注 |
| 1 |
创建占位符 |
tf.placeholder() |
|
| 2 |
创建模型结构 |
tf.Variable() |
|
| 3 |
创建损失函数 |
tf.nn.softmax_cross_entropy_with_logits_v2 |
计算 softmax(logits) 和 labels 之间的交叉熵 |
| tf.reduce_mean |
计算平均值 |
||
| 4 |
创建优化器 |
tf.train.AdamOptimizer().minimize() |
学习率，损失函数 |
| 5 |
创建会话并初始化 |
tf.Session() |
|
| tf.global_variables_initializer() |
|||
| tf.Session().Run |
在本项目中我们的代码如下：
# 定义输入数据结构
self.x = tf.placeholder(tf.float32, shape=[None, self.img_size, self.img_size, self.num_channels], name='x')
self.y_true = tf.placeholder(tf.float32, shape=[None, self.num_classes], name='y_true')
y_true_cls = tf.argmax(self.y_true, axis=1)
# 创建CNN模型，返回输出
layer_fc2 = self.__create_cnn(self.x)
y_pred = tf.nn.softmax(layer_fc2, name='y_pred')
y_pred_cls = tf.argmax(y_pred, axis=1, name='y_pred_cls')
# 定义损失函数
cross_entropy = tf.nn.softmax_cross_entropy_with_logits_v2(logits=layer_fc2, labels=self.y_true)
self.cost = tf.reduce_mean(cross_entropy)
# 选择优化器
self.optimizer = tf.train.AdamOptimizer(learning_rate=learning_rate).minimize(self.cost)
# 定义检测数据
correct_prediction = tf.equal(y_pred_cls, y_true_cls)
self.accuracy = tf.reduce_mean(tf.cast(correct_prediction, tf.float32))
# 初始化所有变量
self.session = tf.Session()
self.session.run(tf.global_variables_initializer())