神经网络ResNet训练CIFAR10数据集

loss在反向传播的过程中,传递到浅层的梯度非常小,使得浅层参数难以更新。resnet引入了残差单元(residual unit):通过直接和输入连接,使得浅层的参数变得可以训练。

 bottleneck将左图中的一个3*3的卷积层,改为了两个1*1的卷积层,在参数个数相近的情况下,加深了网络深度。

resnet就是上面的残差单元(residual unit)或者是bottleneck不断堆叠形成的结构,封装成一个residual_block函数。

(即便输入输出的通道数没有改变,输入输出的大小也可能改变)。

发布了70 篇原创文章 · 获赞 8 · 访问量 1万+

猜你喜欢

转载自blog.csdn.net/Acmer_future_victor/article/details/104210927