【哪个卷积核更优呢？3个3×3小卷积核or大卷积核？】

1.问题提出

1.1 感受野的概念

当我们在设计卷积神经网络（Convolutional Neural Network,CNN）时，感受野（receptive field）是一个非常重要的概念。感受野可以理解为一个神经元（或卷积核）对输入数据的敏感范围，也可以看作是一个神经元接收到的输入数据的区域大小。感受野的大小可以用来衡量神经元对输入图像中信息的感知能力。感受野在CNN中的应用非常广泛，它可以帮助我们理解CNN的结构，也可以用来进行网络设计和优化。

CNN中的感受野是从输入层到输出层逐渐增加的。在CNN的前几层中，感受野往往比较小，只涉及到输入图像中的局部区域。随着网络的深入，感受野逐渐变大，可以涉及到输入图像中的更大的区域。在CNN的最后一层，感受野通常会覆盖整个输入图像，这样就可以对整个图像进行全局的特征提取。

每个3x3卷积核的感受野大小为3，通过堆叠多个3x3的卷积核，可以逐步扩大卷积层中每个神经元的感受野。如图，堆叠两个3x3卷积核相当于一个5x5的卷积核。以此类推，堆叠三个3x3卷积核就相当于一个7×7的卷积核，那么为什么更倾向于堆叠三个3x3卷积核呢？

2.问题解答

2.1 更少的参数

卷积层的参数主要由卷积核（也称为滤波器）组成。卷积核是一个小矩阵，它可以在输入特征图上滑动，通过卷积运算提取出一定的特征信息。在卷积层中，每个卷积核都对应着一组参数，这些参数需要通过网络训练来获得。

通常情况下，卷积核的大小越大，需要训练的参数就越多。因此，在设计卷积神经网络时，我们需要尽可能地减少网络的参数数量，以避免过拟合的问题。

使用多个3x3的卷积核堆叠可以减少网络的参数数量。例如，假设我们有一个输入特征图大小为H × W × C，我们想要通过卷积运算得到一个输出特征图大小为H × W × C。如果我们使用一个7x7的卷积核来进行卷积运算，那么这个卷积核就需要7 × 7 × c × c 个参数。但是，如果我们使用3个3 x 3的卷积核来进行卷积运算，那么这两个卷积核的参数数量就分别是3 × 3 × 3 × c × c。这个数量比一个7x7的卷积核的参数数量少很多。

2.2 更好的表达能力

当进行卷积操作时，卷积核在输入图像上滑动，从而提取特征。对于一个给定的卷积核，其感受野（receptive field）指的是其在输入图像上所能够看到的像素范围。由于3x3小卷积核的感受野比7x7大卷积核小，因此使用3x3小卷积核可以更好地捕捉到图像中的细节和空间信息。

例如，考虑对于一个输入图像中的细节区域，如一些细小的纹理或边缘，使用3x3小卷积核可以将这些细节信息保留下来，而7 × 7 大卷积核可能会模糊或遮盖掉这些细节信息。此外，使用多个7 × 7小卷积核进行堆叠和组合，可以形成一个更大的感受野，从而更好地捕捉图像中的空间信息。

因此，相比于使用7 × 7大卷积核，使用7 × 7小卷积核可以提高神经网络对于图像中细节和空间信息的感知能力，从而达到更好的图像处理效果。

2.3 非线性

使用小卷积核可以更好地表达非线性特征，从而提高网络的性能和表现能力。小卷积核可以提供更多的非线性激活函数，并且可以在更多的深度方向上进行卷积操作。这可以使模型更好地理解图像的复杂特征，从而提高准确性。

2.4 计算效率

使用小卷积核可以减少计算量，并且可以充分利用现代计算机硬件的并行处理能力。相比之下，大卷积核需要更多的计算资源，而且无法充分利用硬件并行处理的能力，这会导致模型的训练和推理速度变慢。

The end

第一天开始CNN，随心记录了一些重要知识点，日积月累！！