重读DRRN(深度递归残差网络)

本文采取了全局残差和局部残差学习,来减轻训练深层网络的难度,递归学习来控制模型的参数且可以有效的控制模型的参数。

 上图表示各个算法的性能对比图。其中x轴表示参数量,y轴表示psnr。其中三角表示不超过5层的模型,星号表示不超过20层,圆圈表示超过30层。

深度网络需要巨大的参数,与紧凑型的模型相比,大模型不适合移动设置。

在DRRN中,作者引入了两种残差学习方法。一种是全局残差,在VDSR和DRCN中,用于连接输入和输出,这是因为输入输出非常相似。另外一种是局部残差,在深度网络中由于其深度多以某些信息在中间的传递过程中出现了丢失,为了解决这个问题,作者引入了局部残差,可以将丰富的细节信息传递到后面。

在DRCN中含有16个递归卷积层,为了防止梯度消失提出了递归监督的方法。本文作者采取了是递归某个多路径结构的残差单元。

 上图是四个基本算法模型。从图中可以看到DRCN与DRRN之间的区别。

 上面是基本的残差单元。整个残差单元采取了多路径的结构,残差连接可以学习到非常丰富的细节信息,恒等映射可以保证梯度的反向传播&#

猜你喜欢

转载自blog.csdn.net/qq_40107571/article/details/127466472
今日推荐