可见光与热红外图像配准算法研究文献综述

文献综述（或调研报告）：

图像配准(Image registration)技术是指通过空间变换和灰度变换将同一目标的两幅或两幅以上的图像中的对应点在同一坐标系中具有相同的位置，是图像处理中的一个基本问题。

Brown [1]、Zitova和Flusser [2]已经发表了对于图像配准技术的深入研究。图像配准算法有多种分类方式，最常见的是文献[2]提出的分类方法，即将配准算法分为区域类算法(area_based methods)和特征类算法(feature_based methods)。论文[3]对[2]中的分类方法作进一步分析和总结，将配准算法分为相关类算法(correlation_based methods)和特征类算法。

其中，相关类配准算法包括区域相关法(area correlation)、相位相关法(phase correlation)、统计相关法。和相关类配准算法不同的是，特征类配准算法不需要图像中的所有像素点参与计算，而是从图像中选取一些具有代表性的点、线、区域或轮廓结构等几何元素（即特征），并以这些特征为参照，通过特征间的配对或对齐完成图像间的配准。文献中常用的特征包括点特征、线特征和边缘特征等。

著名的SIFT(Scale-Invariant Feature Transform,SIFT)算法就是以图像中的斑块特征作为检测对象，并在斑块特征的局部邻域内构建具有一定不变性的描述子，通过描述子间的距离度量完成特征匹配。SURF(Speeded-Up Robust Features,SURF)算法是继SIFT之后又一个具有影响力的斑块特征检测和描述方法，性能与SIFT相近，但速度比SIFT快，可以满足某些实时应用。

在这些已有配准算法的基础上，学者们提出了很多优化改进的算法。论文[4]结合两类图像的特点,提出基于特征的SIFT算法。论文[5] 在提取目标轮廓后对轮廓多边形逼近,然后利用Freemen链码作对多边形的特征进行分析,根据仿射变换中直线不变原理,得到多边形的边和顶点之间的关系,利用控制点对进行配准。论文[6]首先通过实验发现对匹配结果有用的特征点大多分布于边缘上或边缘附近。针对大量冗余的特征点影响匹配性能等问题，提出了一种基于边缘结构的异源图像配准的加速方法。其次，通过实验验证了结构信息丰富的边缘及其附近区域存在大量的梯度反转现象。基于该现象，提出了算法。该算法使用算法检测大量鲁棒的特征点，利用邻域的梯度幅值确定各个特征点的主方向，再为每个特征点创建描述符。最后，提出了能够描述异源图像结构信息的局部结构二值模式（Structure-LPB)，并基于该算子提出了一种快速鲁棒的异源图像配准方法。该方法使用算法框架得到特征点，并将显著性较低的特征点剔除，再利用邻域的结构度确定剩下特征点的主方向，然后计算每个特征点的描述符，最后删除自相似因子较高的特征点。

图像融合是以图像为研究对象的信息融合技术，它把对同一目标或场景用不同传感器所获得的图像或同一传感器以不同方式所获得的多重图像合成为一幅图像，在这一幅图像中能反映多重原始图像中的信息，融合得到的图像的可信度更高，对目标的描述也更为精确，信息更为丰富，从而更利于人眼观察或检测、识别、分类等后续处理。根据融合处理对象和阶段的不同，图像融合的方法大体可分为三个层次：像素级(Pixel-level)融合、特征级(Feature-level）融合和决策级(Decision-level)融合。目前常见的图像融合方法分为两种：基于空间域的图像融合算法和基于变换域的图像融合算法。其中，基于空间域的图像融合算法主要有简单的逻辑、比值、加权平均法、主分量分析(PCA)法和灰度调制法等。常用的变换域图像融合算法有：金字塔变换方法、小波变换方法和多尺度几何分析法。这类算法的主要思想是先对多源图像进行变换和分解得到变换系数，然后对各子带的系数按照一定融合规则进行融合得到融合图像的系数，最后各图像分量进行逆变换得到融合后图像。

目前，基于小波变换的融合算法已经成为研究的主流，但并不是唯一的方法，伴随着它发展的还有基于证据理论的图像融合方法、伪彩色融合方法彩色空间变换法、对比度调制技术等，近年来，随着神经网络和模糊理论的发展，又出现了基于神经网络的图像融合技术以及基于模糊理论的图像融合技术等。

由于图像的低频部分主要包括背景能量，所以现有融合方法都是对一定区域内求平均值，这种计算方法虽然简单，计算速度快却使得这一窗口区域内比较突出的像素值被掩盖，为了充分保留这些有特点的像素值，同时又能使融合后该部分图像更平滑，在低频融合部分，论文[7]基于匹配测度来选取像素值，以避免融合后图像边缘模糊的问题。图像的高频成分包括了目标物体的细节信息，如果一幅图像包含较多的细节则高频系数也越大，现在已经有基于窗口区域方差、窗口区域梯度法及窗口区域平均梯度法等方法。论文[7]考虑到在计算出窗口梯度之后应该选取值大的像素点区域作为融合后的对应像素值，这样就能选出源图像中细节更多的那部分像素值。基于这些想法，[7]提出了改进的高频融合方法。在论文[8]中，提出了一种新的红外与可见光图像融合算法。算法的核心思想是利用人眼视野的特征，以高分辨率的可见光图像信息为背景，以红外图像的热敏感信息为目标，用改进的形态学滤波对红外图像进行预处理，除去红外图像中的冗余信息，将剩余的红外目标轮廓信息与可见光图像进行融合，并且利用人眼对红色和绿色目标较为敏感的特性进行彩色融合。

在可见光与热红外图像配准融合的实际应用中，彩色夜视技术一直都是国内外研究的主要方向。2008 年[9]对之前的彩色夜视融合算法和技术研究进展进行了较详细的综述，之后彩色夜视技术特别是彩色夜视系统得到了迅速的发展，论文[10]主要介绍了近年来国内外对几种彩色夜视融合算法、技术与系统的研究进展。荷兰TNO的Toet在2003年提出了基于色彩传递的自然感彩色融合算法[11]，可将一幅白天自然场景彩色参考图像的色调“传递”给色彩不自然的彩色夜视映射图像，获得与参考图像类似的自然感色彩。2008年Toet根据输入的双通道图像灰度值与彩色融合图像建立二维查找表[12]，该算法为快速的视频处理提供了一个新的思路。2007年瑞典学者Mitianoudis 等提出了一种基于独立分量分析ICA（Independent Component Analysis）域的灰度图像融合算法[13]，利用ICA对场景图像进行训练获得独立分量基函数，通过基函数对待融合图像进行线性变换，进而在变换域根据不同的融合规则对图像进行融合，最后通过ICA反变换得到融合图像。与小波和金字塔等传统的多分辨率多尺度灰度图像融合方法相比，该方法具有更好的边缘建模特性，对于灰度值变化较大区域的细节特征体现没有方向性的限制，且提取独立成分的原则是各成分之间统计独立，消除了图像数据间的冗余性。2008年Mitianoudis进一步将图像融合从灰度图像融合扩展到彩色可见光图像与热图像的融合[14]，先将彩色图像从RGB转换到YUV颜色空间或者HSV颜色空间，然后将进行亮度图像融合，最后将色彩通道与亮度图像融合得到彩色融合图像。