文章：
基于深度学习的遥感图像配准
《A deep learning framework for remote sensing image registration》
一.背景
随着对地观测技术的不断发展与更新，获取遥感图像的传感器也越来越多。为了分析某一场景，我们有时需要把不同时期的、不同传感器的、甚至于不同视角的遥感图像融合在一起处理，因此需要对遥感图像进行配准，将多幅遥感图像进行匹配和叠加。
二.问题描述
传统的基于特征的图像配准方法依赖于人工设计的特征，其中最具代表性的是SIFT特征，具有旋转不变性、平移不变性、尺度不变性等特性。但是，由于遥感图像成像机理复杂多样，SIFT特征的不变性特性在遥感图像中受到影响，导致遥感图像无法精确配准。如下图所示，我们从待配准图像中随机选取了10对匹配的SIFT特征点，箭头指示的方向为特征点的主方向，很明显可以看出这些匹配点的主方向不一致。因此，SIFT特征不再具有旋转不变性。
三.方法动机
与一般的自然图像不同，遥感图像的获取方式多种多样，且图像内容难理解、目标特征不明显。人工设计特征的方法在遥感图像中适用范围较窄，无法预知不可控的遥感图像变化，不能提取到具有判别性的特征。
同时，在传统的方法中，特征提取和特征匹配之间没有信息的反馈，使得特征提取算子不能根据待配准的图像进行自适应的调节。因此，我们提出基于深度学习的遥感图像配准，将特征提取和特征匹配统一在一个端到端的框架中，直接学习图像块对到匹配标签的映射函数。
但是，深度神经网络强大的学习能力需要大量有标记的训练样本的支持。由于遥感图像的获取非常昂贵，我们很难得到足够多的训练样本，且手工标记样本的代价较大。因此，我们提出基于自学习的遥感图像配准方法，从待配准的遥感图像中自动获取大量的有标记的训练样本。
四.方法
4.1 框架
本文提出的深度学习框架如图2所示。与传统的基于特征的图像配准方法不同，我们将特征提取与特征匹配联合在深度学习框架中，直接学习图像块对与匹配标签之间的关系。网络的输入是两个图像块对，输出为其对应的匹配标签。然后，利用训练好的深度神经网络预测两个待配准图像组成的图像块对的匹配标签。
图2. 本文的方法框架图，主要包括两个部分：深度神经网络的训练和图像配准。首先，基于深度神经网络学习图像块对到匹配标签的映射；然后，利用训练好的神经网络预测待配准图像中图像块对的匹配关系；最后，剔除错误的匹配点对，计算待配准图像之间的变换矩阵，配准图像。
[ 注释：两个图片，首先提取特征，如SIFT特征，之后在特征点上分割s*s大小的图像块，若两个图象分别有m、n个特征点，则图像块P1{p10,p12...p1m},P2{p20,p21...,p2n}，图像块对{P1i，P2j}，将这个图像块对连成一个图像块，大小2*s*s，如图上半部分的蓝色红色条块，将这个图像块作为DNN的输入，输出是匹配标签Yij，=0不匹配，=1匹配。]
4.2 自学习
为了解决训练样本少这个问题，提出一种自学习策略，如图3所示。根据一组变化的矩阵变换图像，这些变换矩阵包括平移，缩放，旋转等。然后从待配准的遥感图像及其变换图像中自动获取大量的有标记的训练样本。
[ 注释：一个图像经过平移旋转缩放等变化之后，一个特征点对会生成一个对应的特征点，这两个点是匹配的，还有更多不匹配的，在不匹配的中随机选择一个，保证匹配点和不匹配点数量均等 ]
图3. 自学习策略示意图，从待配准的遥感图像和其变换图像中获取大量的匹配和不匹配的训练样本。
4.3 DNN预训练
常见的DNN训练过程从随机初始化参数开始，然后应用BP算法调整整个网络的参数，用随机梯度下降算法最小化代价函数。然而，这个过程可能导致过拟合，计算成本也很高。所以，我们采用两步训练的策略来解决这个问题。一开始，由于没有可用的DNN，我们使用限制玻尔兹曼机（RBM）仅使用一个图像对{I1,I2}从头开始训练我们的DNN，即初始学习。经过训练的DNN不仅可以配准I1和I2，还可以学习遥感图像的某些共同属性。因此，它可以通过迁移学习作为其他图像的预训练网络。下面给出这个两步策略的细节。
预训练：之前的研究（Erhan等，2010）表明，预训练能够防止过拟合并具有更好的泛化性能，因为它将数据的先验信息带入参数初始化。所以我们用无监督的预训练，即限制玻尔兹曼机（RBM）来初始化所提出的DNN参数。RBM是基于能量函数的概率图模型，其学习输入数据的分布特征。它由可见层（输入层）和隐藏层（特征提取层）组成。 如果可见层单元表示为v[0,1]，隐藏单位为h[0,1]，联合概率分布和能量函数可表示为（左），激活函数更新为（右）
在预训练DNN时，更换L-2层隐含层为L-2层RBM。第一个RBM的可见单元是图像块对，并且当前RBM的隐藏单元作为下一RBM的可见单元。由于RBM是无监督学习，因此仅使用没有匹配标签的图像块对。通过使用对比发散算法最小化每个RBM的误差来计算关于数据先验信息的参数（Hinton，2002）。之后，RBM的参数用于初始化DNN。然后，使用4.2节中获得的图像块对及其匹配标签来调整整个网络的参数。
4.4 迁移学习
应用迁移学习和微调来缩短训练时间，提高训练网络适应新图像的可行性。迁移学习是将源网络作为目标网络的初始状态，然后使用目标数据微调目标网络的过程。它已经证明了目标网络的通用性能得到了改善，并且大大降低了培训成本（Yosinski等，2014）。我们将现有的DNN作为初始网络，然后使用新图像中的图片块对和相应的匹配标签来微调网络。将新图像中的图像块对和匹配标签作为训练样本，以0.01和100次迭代的小学习率训练初始网络。微调旨在使现有训练的DNN更适合于新图像。
4.5 匹配和配准
DNN预测匹配标签，如果标签为1，我们将匹配的图像块对的中心点作为图像配准的初始关键点。由于遥感成像机制和小的图像块尺寸，我们的DNN可能在I1和I2之间找到多个相似的图像块。这种一对多匹配混淆了变换矩阵的计算。然后，我们应用局部约束和全局约束来移除这些错误匹配点。 局部约束：归一化互相关（NCC）基于像素强度计算两个块的相似性，只选择NCC最大的匹配图像块对。全局约束利用RANSAC算法。
至此，找到两个图像的匹配点对，利用最小二乘法求出变换矩阵即可。
五.结果
略