【深度学习滑坡制图|论文解读1】基于融合CNN-Transformer网络和深度迁移学习的遥感影像滑坡制图方法
【深度学习滑坡制图|论文解读1】基于融合CNN-Transformer网络和深度迁移学习的遥感影像滑坡制图方法
欢迎宝子们点赞、关注、收藏！欢迎宝子们批评指正！
祝所有的硕博生都能遇到好的导师！好的审稿人！好的同门！顺利毕业！
大多数高校硕博生毕业要求需要参加学术会议，发表EI或者SCI检索的学术论文会议论文：
可访问艾思科蓝官网，浏览即将召开的学术会议列表。会议入口：https://ais.cn/u/mmmiUz
论文链接：https://www.sciencedirect.com/science/article/pii/S1569843223004363
前言
滑坡常引发严重的财产损失和人员伤亡，因此，快速、精准的滑坡制图（LM）对于震后滑坡灾害评估和应急救援至关重要。近年来，基于遥感影像（RSIs）的自动化滑坡制图方法研究取得了长足进展。
然而，现有方法在滑坡识别中仍面临挑战，主要原因在于滑坡特征和尺度差异大，以及光学遥感影像中不同地物之间的相似性。为此，我们提出了一种语义分割模型SCDUNet++，结合卷积神经网络（CNN）与Transformer的优势，以增强滑坡特征的识别和提取。
我们基于Sentinel-2与NASADEM数据，在泸定和九寨沟地震区域构建了多通道滑坡数据集，并对SCDUNet++的性能进行了评估。结果表明，SCDUNet++能更有效地提取并融合光谱与地形信息。与其他先进模型相比，SCDUNet++在四个测试区域中均取得了最高的IoU和F1分数。此外，通过知识迁移与微调，在九寨沟区域滑坡制图中，模型表现显著提升。
相比直接预测，八种模型（DeepLabv3+、Segformer、TransUNet、SwinUNet、STUNet、UNet、UNet++及SCDUNet++）在实施深度迁移学习（DTL）后，IoU提升8.33%至27.5%，F1提升6.58%至23.67%。这一结果凸显了在数据稀缺地区使用DTL进行跨域滑坡制图的重大实用性。
1. Introduction
研究背景
滑坡是最常见的自然灾害之一，常由地震和降雨触发 (Bontemps等, 2020)。大规模滑坡尤其在强震后引发严重的财产损失和人员伤亡 (Keefer 和 Larsen, 2007)。统计数据显示，滑坡造成的损失有时甚至超过地震本身 (Fan等, 2023)。在大逆冲地震后，快速、准确的滑坡制图对应急救援、及时量化灾害评估和灾后重建至关重要 (Yang 和 Chen, 2010)。
传统的滑坡制图方法依赖视觉解译和实地调查，耗费大量人力和时间 (Stumpf 和 Kerle, 2011)，且由于人为经验和判断差异，易导致一致性差异及遗漏。得益于计算机技术的发展和分析与可视化软件的改进 (Casagli等, 2023)，大量基于遥感影像(RSI)的快速（半）自动滑坡制图研究应运而生。例如，机器学习方法如最大似然分类器、支持向量机和随机森林已用于滑坡分布信息提取 (Ghorbanzadeh等, 2019; Mondini等, 2017; Van Den Eeckhaut等, 2012)。然而，机器学习方法仍需一定的人工特征提取和解译规则设计，且算法设计的改进空间有限 (Zhu等, 2019)。
研究现状
卷积神经网络(CNN)的应用打破了传统滑坡制图方法的瓶颈 (Ghorbanzadeh等, 2019; Meena等, 2021)。多种基于CNN的网络被提出用于滑坡制图，如基于轮廓的PSPNet (Yu等, 2020)、层次反卷积网络HADeenNet (Yu等, 2022)，以及深度学习模型堆叠的综合方法 (Lv等, 2022)。最常用的滑坡制图网络包括ResUNet (Ghorbanzadeh等, 2022a; Qi等, 2020)、UNet (Li等, 2023a; Wei等, 2023) 和 UNet++ (Li等, 2023b; Xu等, 2022a)，但CNN的归纳偏置限制了其全局信息提取能力 (Zhang等, 2022)。
为获取更多全局特征，Transformer结构已应用于滑坡制图任务。例如，ShapeFormer (Lv等, 2023) 被提出用于遥感影像中的滑坡制图，其结果优于CNN。一些研究表明，多头自注意力（MSA）与卷积所提取的特征具有互补性 (Yuan等, 2023)，将CNN与Transformer结合能生成更丰富的特征图。一些研究者将Transformer集成到ResUNet中，并在两个滑坡数据集上验证了其可行性 (Yang等, 2022)。然而，Transformer结构依赖的自注意力机制的时间和空间复杂度随输入长度呈二次增长 (Keles等, 2023)，这在处理高分辨率影像时带来挑战。为此，Swin Transformer (Liu等, 2021) 通过多尺度建模构建了类似于CNN的分层特征，并利用平移窗口技术降低了自注意力的计算成本。Swin Transformer作为骨干网络被用于提取汶川地震引发的滑坡特征，并取得了最佳效果 (Fu等, 2022)。此外，研究者也基于滑坡特征构建了使用Swin Transformer的滑坡制图网络，如SwinLS (Zhao等, 2022) 和CTDNet (Chen等, 2023)，但这些方法仅使用Swin Transformer进行特征提取，未能结合CNN的优势。
快速地震滑坡制图（LM）通常直接使用在其他区域训练的模型进行 (Ghorbanzadeh等, 2021; Shi等, 2021)。然而，在应用于具有显著特征差异的区域时，这种直接预测方法往往难以获得理想效果。此外，若直接在目标区域进行模型训练，可能会面临如RSI中云层过多、数据不足等问题 (Casagli等, 2023)。因此，探索模型的迁移能力是一个重要议题。一些研究者提出了一种稳健的深度迁移学习（DTL）方案，用于高精度跨场景滑坡制图，效果优异 (Xu等, 2022b)。另一项研究提出了面向跨领域滑坡制图的领域感知渐进表示学习框架 (Zhang等, 2023)。DTL还被用于多时相滑坡制图 (Bhuyan等, 2023)，展示了其在不同时间尺度上的可行性。然而，DTL在小样本数据下用于跨领域滑坡制图的可行性尚未得到验证。
目前，用于滑坡制图的公开数据集相对较少 (Bragagnolo等, 2021; Ji等, 2020; Meena等, 2023)，且主要由RGB真彩色影像构成。一些研究者尝试将地形因子（TFs）、光谱指数因子（SIFs）、纹理特征、地质图、工程因子和水文特征等多种数据融入滑坡制图 (Ghorbanzadeh等, 2022b; Keyport等, 2018; Lv等, 2022; Meena等, 2021; Xu等, 2022a)，结果显示引入这些数据具有显著优势。然而，现有研究中缺乏合适的模型充分利用滑坡的光谱和地形特征知识。
如图1所示，滑坡制图任务面临因滑坡特征和尺度差异显著、以及RSI中地物相似性较高而带来的挑战。图1的基础图像为10米分辨率的Sentinel-2影像 (Drusch等, 2012)，采用WGS 1984 UTM Zone 48 N投影，白色圆圈内的图像来自Google Earth。
研究内容
为了解决上述问题，我们开发了一种滑坡制图模型，并在一个综合数据集上评估了其泛化性和迁移能力。该数据集填补了包含滑坡特征的滑坡数据集的空白。本研究的主要贡献如下：
- 设计了一种称为SCDUNet++的模型用于滑坡制图，构建了全局局部特征提取（GLFE）模块以提取更精确、可靠的特征，并构建了细节空间光谱聚合（DSSA）模块以提取滑坡的多尺度特征、空间特征和光谱特征。在四个区域的评估表明，该模型优于其他模型，包括FCN、DeepLabv3+、Segformer、TransUNet、SwinUNet、STUNet、UNet和UNet++。
- 我们在目标域中利用源域训练的模型，使用少量数据进行了滑坡制图。实验结果表明，DTL后的制图结果明显优于直接预测结果。这一发现对于数据匮乏情况下实现精确滑坡制图具有重要意义。
- 本研究解译并生成了超过3000平方公里的泸定和九寨沟滑坡清单图，并构建了一个多通道滑坡数据集，用于滑坡制图。该数据集证明了融入相关光谱和地形信息可以获得更准确的制图结果。
本文的结构如下：
- 第2节介绍了研究区域和数据处理
- 第3节介绍了所使用的方法及实验细节
- 第4节描述了各方法的结果
- 第5节进一步分析了实验
- 第6节总结了本文的结论
欢迎宝子们点赞、关注、收藏！欢迎宝子们批评指正！
祝所有的硕博生都能遇到好的导师！好的审稿人！好的同门！顺利毕业！
大多数高校硕博生毕业要求需要参加学术会议，发表EI或者SCI检索的学术论文会议论文：
可访问艾思科蓝官网，浏览即将召开的学术会议列表。会议入口：https://ais.cn/u/mmmiUz
论文链接：https://www.sciencedirect.com/science/article/pii/S1569843223004363