问题1: ResNet是什么模型?
答:ResNet是residual network的缩写,意为残差网络。它是一种神经网络结构,可以通过残差块来实现很深的网络结构。
问题2: ResNet解决了什么问题?
答:ResNet解决了在训练很深的神经网络时,梯度消失/爆炸的问题。通过残差块可以让梯度直接传播,使得网络可以达到100-1000层。
问题3: ResNet中的残差块是什么?
答:残差块包含几个层的堆叠,并且有一条“Shortcut”的连接路径让输入直接传到输出,实现H(x) = F(x) + x,其中F(x)是堆叠层的输出。这Allows梯度直接backpropagate。
问题4: ResNet有哪几种残差块?
答:主要有3种残差块:残差块v1、残差块v2和瓶颈残差块。它们的主要区别是Stacked layers的设计以及是否使用1x1卷积来调整通道数。
问题5: ResNet在什么比赛上首次证明了效果?
答:ResNet在ImageNet 2015图像识别挑战赛上获得冠军,首次证明了超深度网络的效果。
问题6: ResNet有哪些主要版本?
答:主要有ResNet-18, ResNet-34, ResNet-50, ResNet-101和ResNet-152等版本。数字表示网络层数,层数越大性能越好但计算量也越大。
问题7: ResNet的第一个残差块的输入输出通道数是多少?
答:在ResNet-50中,第一个残差块的输入输出通道数都是64。
问题8: ResNet是什么类型的网络?
答:ResNet是一种卷积神经网络,属于深度学习网络。
问题9: ResNet提出者是谁?
答:ResNet由Kaiming He等人在2015年提出。
问题10: ResNet实现代码使用的框架是什么?
答:ResNet的原作者使用PyTorch框架实现了ResNet。
问题11: ResNet如何实现超深度网络?
答:ResNet通过残差块实现超深度网络,残差块让梯度可以直接传播,不会消失/爆炸,可达到1000层。
问题12: ResNet的典型网络结构是什么?
答:ResNet的典型网络结构是:卷积层->残差块*N->平均池化层->全连接层->softmax。N表示残差块的数量,可以非常大。
问题13: ResNet的残差块中1x1卷积的作用是什么?
答:1x1卷积用于改变通道数,确保残差块输入输出有相同的通道数。
问题14: ResNet中修改图像尺寸的主要用的是什么层?
答:在ResNet中,主要使用步长为2的3x3最大池化层来修改图像尺寸。
问题15: ResNet为什么能比VGGNet等模型更深?
答:因为ResNet有残差连接,可以让梯度直接传播,不会在很深层的时候消失/爆炸,所以可以达到100-1000层,比VGGNet等模型更深。
问题16: ResNet在ImageNet测试集的错误率是多少?
答:ResNet-50在ImageNet测试集的错误率是3.57%。
问题17: ResNet的前几层一般是什么类型的层?
答:ResNet的前几层一般是普通的卷积层,然后跟着很多残差块。
问题18: ResNet的典型超参数设置是什么?
答:一般会设置初始学习率为0.1,momentum为0.9,weight decay为0.0001等。
问题19: ResNet在训练时采用什么优化方法?
答:ResNet的原作者采用SGD+momentum的优化方法训练ResNet。
问题20: ResNet的一些变体模型有哪些?
答:有ResNet-34, ResNet-50, ResNet-101, ResNet-152等不同层数的模型,还有ResNet-v2, ResNeXt, Wide ResNet等变体。