DSC-MVSNet: attention aware cost volume regularization based on depthwise separable convolution for multi-view stereo
DSC-MVSNet: 基于深度可分离卷积的注意力感知代价体积正则化
一、研究背景与动机
多视图立体视觉（MVS）在增强现实和三维重建中得到了广泛应用。然而，传统的MVS方法在处理弱纹理或非Lambertian表面时往往表现不佳。近年来，深度学习方法通过代价体积正则化过程在MVS领域取得了显著成果，但现有的方法难以在效率和有效性之间取得平衡。因此，本文提出了DSC-MVSNet框架，旨在通过深度可分离卷积（DSC）和注意力机制提高代价体积正则化的效率。
二、DSC-MVSNet框架概述
DSC-MVSNet是一个粗到细的端到端框架，包括四个主要子过程：特征提取、代价体积正则化、深度图上采样和深度图细化。该框架通过引入深度可分离卷积和注意力机制，显著提高了MVS深度估计的效率和准确性。
三、特征提取
特征提取是MVS任务中的关键步骤。本文使用了一个信息丰富的特征提取网络，该网络通过跳跃连接传播低级空间信息以聚合多级特征信息。这种设计有助于捕捉更多的细节和上下文信息，为后续步骤提供更有力的支持。