图像融合技术就是将配准过后的图像融合成一幅宽视角、大场景的图像。但由于图像采集过程中各种因素的影响，例如光照、角度、距离等，从而导致图像间的光照不均匀、颜色上不连续。
经过配准以后，参考图像和输入图像已经在同一个坐标系下，如果只是取某一幅图像的信息或者简单地将二者重叠区域的像素进行叠加，在图像拼接处会产生图像不连续的现象，有明显的拼接缝隙，如图所示。

要实现图像的无缝拼接，必须采用图像融合技术对图像的重叠部分进行平滑处理，使两幅图在重叠区域平滑过渡，拼接后的图像在颜色和亮度上保持一致，视觉效果好。

一、传统融合算法

图像融合就是尽可能地利用图像间的独有细节信息和重叠部分的信息，最终得到一幅有丰富有用细节的新图像。经典的融合算法有直接平均和加权平均。

1、直接平均

该融合算法的基本思路是直接从图像间的重叠区域中各提取一半的信息，作为该部分的融合结果，计算公式见式：

$I_{result}(x,y)\left\{\begin{matrix} I_{1}(x,y) ,(x,y)\in I_{1} \\ (I_{1}(x,y)+I_{2}(x,y))/2,(x,y)\in I_{1}\cap I_{2} \\ I_{2}(x,y) ,(x,y)\in I_{2} \end{matrix}\right.$

该算法思路简单、便于操作，但是如果遇到光影差异较大时，融合结果中接缝感就会比较明显。

2、加权平均

该融合算法的基本思路是通过…定的权值将图像间重叠区域中的信息提取并结合。该算法的通用公式见式：

$I_{result}(x,y)=\alpha I_{1}(x,y)+(1-\alpha )I_{2}(x,y),(x,y)\in I_{1}\cap I_{2}$

根据权重的选取方式不同，可以有以下两种分类：

1）渐入渐出融合算法

该算法是针对某方向上的，融合过程中权值是逐渐变化，从而达到平滑的融合结果。其计算公式见下式。

$I_{result}(x,y)\left\{\begin{matrix} I_{1}(x,y) ,(x,y)\in I_{1} \\ \alpha I_{1}(x,y)+(1-\alpha )I_{2}(x,y),(x,y)\in I_{1}\cap I_{2} \\ I_{2}(x,y) ,(x,y)\in I_{2} \end{matrix}\right.$

式中，0< $\alpha$ <１。例如，沿着Ｘ方向的拼接情况下，随着Ｘ的増加，左侧的权值是逐渐变大，而右侧的是逐渐变小的，这样就可以使得融合处的变化平缓，效果更加自然。

2）帽子函数融合算法

在权值分配的时候，以中心区域为参考，距离越短，对应的权值也会越大。每一幅图像的权值设定公式见式：

$w_{i}(x,y)=(1-|\frac{w}{width_{i}}-\frac{1}{2}|)*(1-|\frac{w}{height_{i}}-\frac{1}{2}|)$

其中， $width_{i}$ 、 $height_{i}$ 分别对应着第 i 幅图像的宽和高。

权值在重叠区域处的总和为１，这样就需要对权值设定作统一调整，见式：

$d_{i}(x,y)=\frac{w_{i}(x,y)}{\sum w_{i}(x,y)}$

$I_{result}(x,y)\left\{\begin{matrix} I_{1}(x,y) ,(x,y)\in I_{1} \\ d_{1} I_{1}(x,y)+(1-d_{2})I_{2}(x,y),(x,y)\in I_{1}\cap I_{2} \\ I_{2}(x,y) ,(x,y)\in I_{2} \end{matrix}\right.$

在加权平均融合算法中，一般来说，总是只考虑单一方向的权值设定，例如沿Ｘ方向或者沿Y方向。当然，融合也可以同时考虑送两方面，这样得到的融合质量更好。

$I_{result}(x,y)\left\{\begin{matrix} I_{1}(x,y) ,(x,y)\in I_{1} \\ \frac{\alpha+\beta }{2} I_{1}(x,y)+(1-\frac{\alpha+\beta }{2} )I_{2}(x,y),(x,y)\in I_{1}\cap I_{2} \\ I_{2}(x,y) ,(x,y)\in I_{2} \end{matrix}\right.$

其中，0< $\alpha$ <1，代表Ｘ方向上的权值变化；0< $\beta$ <1，代表Y方向上的权值变化。

二、最佳缝合线算法

图像采集过程中，由于环境条件的差异，例如光照、曝光等方面，导致采集到的序列图像间在亮度和色调上是不一致的。在融合过程中，常常会出现同一物体中一部分重叠在一起而使物体模糊，送称之鬼影或重像。产生鬼影的环节有配准过程和合成过程。前者，源于图像采集过程中，拍摄设备不在同一平面运动，从而可能导致图像间配准误差较小，引起模糊；后者，源于图像间存在运动物体，因物体运动而导致融合出现问题。

利用动态规划的思想，在待拼接图像间的重叠区域之中，寻找一条线，可以很好地将待处理的图像各自划分两部分，然后各取一部分进行融合。当选取的线比较合理，从理论层面上是可以解决鬼影问题的。理想的缝合线上的像素点需要满足两个要求：颜色差异最小和几何结构最相似。但事实上，理想的缝合线基本无法求得，所以只能尽可能地接近。