基于双重NSCT可见图像和红外图像 的高质量融合外文翻译资料

英语原文共 5 页，剩余内容已隐藏，支付完成后下载完整资料

---

基于双重NSCT可见图像和红外图像

的高质量融合

Zhen Chen1,2 Congxuan Zhang1,2 Pan Wang1

dr_chenzhen@163.com zcxdsg@163.com wangpan6987@163.com

1. 中国南昌市南昌航空大学 2. 中国南昌市教育部

测量与光学工程学院 无损检测重点实室

摘要 ——在本文中，我们提出了一种基于双重NSCT（非下采样轮廓波变换）的高质量的可见图像和红外图像融合方法。 首先提出了基于图像局部能量的自适应子带系数计算和选择模型，然后提出了具有双重NSCT的可见图像和红外图像融合实现过程。 最后，两个典型图像集实验表明，提出的融合方法可以将可见图像的冗余信息补偿到一次融合图像，并且具有比传统方法更好的性能。

关键词：图像融合; 可见图像; 红外图像; 双重NSCT

1.引言

图像融合肯定是图像处理，模式识别和计算机视觉中的重要的研究焦点，它集成了由多个传感器或由一个传感器在不同情况下获取的两个或多个图像的不同信息[1]。 近年来，图像融合技术已经被广泛应用于如目标检测，图像识别和医学图像融合等许多领域[2-4]。

红外图像通常包含关于目标的特定信息；然而，可见图像包括场景的更详细信息，因此融合过程可以使红外图像和可见图像两者的优点集中到一个融合图像。 多分辨率图像融合方法通常被认为是有效和准确的融合算法，因为它可以定位源图像的空间和频率信息，并且符合人类视觉系统[5]。 在20世纪的最后十年，离散小波变换（DWT）是图像融合的通用工具[6-7]，通常被认为具有比拉普拉斯金字塔变换更好的性能。然而，因为DWT不包含多方向特性，基于DWT的图像融合方法通常会导致图像细节模糊。由于DWT的不足，提出了基于轮廓波变换（CT）的图像融合方法，该方法保持了多尺度和时频局部特征，并且具有多方向和各向异性的特点[8-9]。 由于CT过程中的下采样操作，CT不具有平移不变性的特点，这通常导致融合图像的频谱混叠[10]。

受到非下采样小波变换的启发，DaCunha等[11]提出了由非下采样金字塔滤波器组和Trous算法构成的非下采样轮廓波变换（NSCT）。NSCT不仅保留了CT的多尺度多方向优势，而且具有平移不变性的特点，这使NSCT成为图像融合最常见的方法[12]。在 Da Cunha开创性工作后，主要针对于子带系数，融合机制，融合校正等方面的大量改良的研究被提出[13-18]。

本文的目的是提出一种基于双重NSCT的可见图像和红外图像的高质量融合方法，能够获得比传统方法更好的性能。本文的剩余部分安排如下。 在第2节我们提出了可见图像和红外图像融合的融合方法和实现步骤。第 3节提供了详细的实验计划。并在第4节做了简要的总结。

2.方法

1. NSCT简介

如图1所示，非下采样轮廓变换（NSCT）主要包含两个过程：首先，输入图像通过非下采样金字塔滤波器组（NSPFB）进行多尺度分解，然后选择非下采样定向滤波器组 （NSDFB）对通过第一步的每个尺度的带通图像进行方向分解。 在上述步骤后，可以获取不同尺度和方向的图像。

2

( , )

( , )

(a)NSCT结构 (b)被分解的频域

Low-Pass

低通

图像

带通

带通

1

图1 NSCT原理图

与Contourlet变换不同，在对NSCT进行分析滤波和取样程序之后，集成滤波之前，对相应的过滤器而不是抽样过程采用上采样操作，因此平移不变性是NSCT的宝贵特征。

B.NSCT的融合规则

在可见图像和红外图像融合过程中，主要分为输入图像的低频信息融合和高频信息融合。低频信息主要反映了图像的整体强度，涉及图像的背景信息，而高频信息主要反映图像中的边缘和轮廓。本文首先提出了基于图像局部能量的图像融合规则。

对于输入可见图像VI和红外图像IR，可见图像和红外图像的像素的局部能量(i, j)T可写为如下：

其中 表示以像素(i, j)T为中心的3 3局

部区域的加权系数矩阵。VI (i, j)和IR(i, j)是可见图像VI和红外图像IR对于像素(i, j)T的像素值。

假设低频子带信息的融合系数是

提出的低频信息融合规则可写为如下：

其中和 分别表示融合图像，可见图像和

红外图像在j层的低频子带。

对于高频信息融合，假设可见图像和红外图像的像素(i, j)T中的局部能量的归一化差异如下：

设置一个阈值T，Tisin;[0.2,0.5]，在本文中，阈值T的值为0.2。当像素(i, j)T中的局部能量的归一化差异很大时，即M (i, j)T  T ，融合规则可被如下表示：

其中 表示融合图像在像素(i, j)T中的像素值。

当归一化差异M (i, j)T  T 时，融合图像的像素值通过如下方程计算：

其中和 分别表示融合图像，

可见图像和红外图像j层中的高频子带。

C.基于双重NSCT的图像融合

因为可见图像和红外图像之间的分辨率，对比度和信息含量差异较大，基于传统方法的可见图像和红外图像的融合结果通常无法达到理想效果。 在本节中，提出了一种基于双重NSCT的改进的图像融合方法，实现步骤如下：

1.开始；

2.分别输入可见图像和红外图像并对输入图像进行NSCT，获取高频方向子带和低频信息；

3.对高频方向子带和低频子带执行融合规则，获得一次融合图像；

4.输入可见图像和获取的一次融合图像，对获取的一次融合图像进行NSCT，并获取高频方向子带和低频信息；

5.对高频方向子带以及可见图像和获取的一次融合图像的低频子带实施融合规则，获得二次融合图像；

6.结束。

图像融合实现步骤的相应框架图如下所示：

图2 基于双NSCT的图像融合框架图

融合规则

可见图像

融合规则

红外图像age

NSCT

逆NSCT

NSCT

一次融合

图像系数

二次融合

图像系数

融合图像

分解高频、低频子带

3.实验

1. 测量指标

1. IE（信息熵），反映融合图像的平均信息。 融合图像的信息量与IE的值成正比。

其中P(i)表示在图像像素上灰度值等于像素i的概率。

2. MI（相互信息），反映融合效果并测量可见图像和红外图像之间的相对性。 融合图像的信息量与MI的值成正比。

其中Pab (i, j)表示输入图像a和b之间的归一化灰度直方图。Pabf (i, j, k)表示输入图像a，b和融合图像f之间的归一化灰度直方图，并且Pf (k )表示融合图像f的归一化灰度直方图。

3. SD（标准偏差），反映了每个像素与融合图像的平均灰度值之间的平均偏差。 SD越大，融合图像的对比度越大，融合图像包含的信息越丰富。

其中MN表示融合图像的像素的总数，Ave表示融合图像的平均灰度值，通过以下等式计算：

B.实验结果

在实验部分中，选择了Quad图像集和UNcamp图像集来测试所提出的方法的性能。对于定量比较，选择基于小波的融合方法，基于Contourlet的融合方法和基于常规的NSCT的融合方法与所提出的方法进行比较。图3和图4分别显示了Quad集和UNcamp图像集的原始图像和融合结果。

对于定性分析和比较，基于小波的方法丢失了可见图像的细节信息，获得了最差的结果。基于Contourlet的方法的融合效果略差于基于常规NSCT的方法，因为基于Contourlet的方法放弃了红外图像的一些辐射信息的结果。所提出的方法获得了所有比较方法中最好的性能，因为该方法的融合结果充分显示了来自可见图像和红外图像的辐射信息和细节信息。

1. 可见图像 (b)红外图像 (c)基于小波的方法

(d)基于Contourlet方法 (e)基于常规NSCT方法 (f)所提出的方法

图3 Quad图像集的实验结果

(a)可见图像 (b)红外图像 (c)基于小波的方法

(d)基于Contourlet方法 (e)基于常规NSCT方法 (f)所提出的方法

图3 UNcamp图像集的实验结果

为了进行客观平衡的比较，上述几种方法的定量比较结果如表1所示，列出了各种比较方法提出的测量指标的数值结果。比较结果表明，该方法获得了所有方法中的最佳性能，证实了上述的定性分析与比较。本节定性分析和定量比较表明，该方法具有良好的融合效果和较高的融合精度。

表1 融合结果的的比较结果

Method	Quad images set			UNcamp images set
	IE	MI	SD	IE	MI	SD
Wavelet	5.9327	1.1522	21.7065	6.2618	0.4087	22.9813
Contourlet	6.7582	0.8855	35.3664	6.8164	0.3549	31.2114
NNSCT	6.7644	2.1578	35.9165	6.7711	0.7161	30.4009
Proposed	6.8089	2.9627	36.0174	6.8309	0.7423	32.1305

4.结论

在本文中，我们首先提出了一种基于图像局部能量的自适应子带系数计算方法。 然后通过使用双重NSCT呈现可见图像和红外图像的融合过程，即可将可见图像的冗余信息补偿给一次融合图像。 最后，精心设计了两个图像集实验以及定量比较结果表明该方法具有的性能优于传统方法。

参考文献

[1] Zhao J, Zhou Q, Chen Y, et al, “Fusion of visible and infrared images using saliency analysis and detail preserving based image decomposition,” Infrar

剩余内容已隐藏，支付完成后下载完整资料

---

资料编号：[27147]，资料为PDF文档或Word文档，PDF文档可免费转换为Word