大感受野的小波卷积

摘要

https://arxiv.org/pdf/2407.05848
近年来，人们尝试增大卷积神经网络（CNNs）的核大小，以模仿视觉转换器（ViTs）自注意力模块的全局感受野。然而，这种方法很快便达到了上限，并且在实现全局感受野之前就饱和了。在本文中，我们证明了通过利用小波变换（WT），实际上可以在不遭受过度参数化的情况下获得非常大的感受野，例如，对于$k$