英语原文共 7 页，剩余内容已隐藏，支付完成后下载完整资料

---

相异图像的拼接

摘要：图像拼接是通过组合多个输入图像来达到图像之间内容的无缝连接。它最常用在全景图像领域。输入图像间大块不相似的的地方是图像拼接应用中棘手的问题。这导致了图像输出时很多问题，比如重影和变形。本文旨在减少这些问题并且增加拼接效率，呈现了一个完全自动化图像拼接过程。

关键词：图像拼接，全景

引言：

照片是永远不会是完全一样的。甚至在完全一样的环境，在同样的地点，角度，光照条件，照片至少会包含整个场景的片刻差异。在现实生活中，同样的物体图片会有不同变化的视角，光照条件和封闭咬合数量。全景图指的是由很多更小的图像合成的大图。它是通过监测然后利用图片间的相似性去融合或者拼接。使得图片能够无缝拼接。本研究通过现有缝合方法开发和测试了一种能够组合两个或更多个不同图像的算法。为了达到本研究的目的，当图像有轻微或极大改变的角度，具有不同的光照或照明条件，或者不同的咬合程度时，他们就会被划分为不同。

图像已被获取之后，在他们可以被缝合之前，图像的预处理是强制性的，。例如，该图像可以被投影到一几何表面，它可以是在任一个球形，圆柱形或平的表面。图像拼接之前也必须先矫正相机问题造成的畸变 [2]。图像拼接处理的过程可分成两步：图像配准和图像合并。当图像配准时，相邻图像的一部分将要被测试和比较查看这些相邻部分是否有相似之处可用来校准。在决定哪一部分的图像最可能用来校准之后，图片被排列形成一个全景图像。一张风景图就被重新组合成功。因此，有三个主要的流程:图像采集，图像配准，图像融合[2]。

本文研究范围没有包含那些不是照片或者不是计算机图形的产品的图像拼接。也不包含那些内容完全不同的图片的拼接。这些是图像领域中完全不同的学科内容。

图一：图像拼接的例子（上左）和（上右）是输入图像，底部是结果图

II. 理论研究

有很多现存的可以通过拼接相似或者那些有很多相似的特征点的图片去形成全景图的图像拼接算法。大多数图像拼接方法采用以下流程：监测特征点，匹配特征点，校准图像，混合图像。

A. 监测特征点

David Lowe的SIFT算法是探测图像中特征点的一种方法。SIFT将图片数据转换成规模不变，旋转不变的坐标，并且在3D相机的角度和照明条件中保持部分不变。另外SIFT甚至在仿射畸变存在的情况下提供有力的探测，从而导致独特的关键特征[3]。在一个图像中检测特征点时，SIFT描述符使用以下步骤得到：本地的极值监测，特征点定位和方向赋值[4]。有一个不仅可以检测特征点还可以匹配监测到的特征点的技术叫做BRISK。这个方法满足了高质量的特征点描述符和低计算需求。在监测过程中，使用卓越标准，检测到的兴趣点图片和尺寸。这些特征在八度层图像的金字塔和层之间以全面提高该算法的计算效率。在附近的每一个关键点,适当扩展应用同心圆。采样模式包含同心圆组成的点以获得成对亮度对比的结果[5]。

B. 关键点描述

FREAK and BRISK是超越现代工业标准的特殊的二进制描述符[6]。很多情况下，新开发的算法常常在有效性上不能超过前任。SIFT算法已经在其领域存在了10年之久，在SURF算法被开发出来之前也是无可比拟的一种算法。当一个新的描述子被开发出来之后，立马就会有很多测试被执行用以在安卓相机的操作上。

SURF描述符使用了一种和SIFT描述符很相似的算法[6]。描述子在每一个被检测到的特征点附近创建一个网格。在每个网格内，有些更小的子网格。在每个子网格内计算梯度直方图和柱状图的计数增加的程度的梯度,每个都被高斯加权。

BRISK描述子在监测到的特征点周围创建了很多模式点。BRISK是一种512位的二进制特征描述子。它在特征点周围计算这些所选的模式点的高斯加权平均数。它的值为1或者0取决于哪一对比高斯窗口更大[5]。

FREAK也是类似于BRISK的一个二进制描述符。FREAK是一种改进的基于抽样安排和配对方法选择的算法。一旦有一个特征点被检测到，FREAK就会在关键点附近创建43个模式点，然后计算他们的高斯加权平均数[6]。

C. 特征点匹配

在每个图像监测到关键点之后，有必要去决定哪个特征点去匹配来为之后图像的对齐创建确定基准。有一些方法为了匹配特征点而被开发出来。Hausdorff距离和小波变换匹配是其中的两种。Iqbal等提出的算法[7]使用了Hausdorff在创建一个快速搜索策略去缩减测量需要计算的位置数量。在另一片论文中，Mong-Shu Lee[8]提出了一种叫做DTWT-SSIM的类似基于结构的图像相似性测量方法的用法为了结合了双树小波变换的平移不变性和结构相似性度量的结构保留性质。在比较存在小噪声的图中的边缘图时这个方法很有效 [8]。为了能够更快地匹配特征点，Schweitzer等提出的一种算法在机器人版本的应用上很有用处。这个方法在重建图像描述符上使用了复杂的哈尔小波响应计算。为了防止多数量级的图像描述符比较，之前基于位掩码操作的校准步骤因此而被使用[9]

D. 图像对齐

在比较图像的更快地匹配的要点的过程中，只对图像配准有帮助的特征点才会被留下来。

一个Fischer和Bolles提出的之前的对齐算法-RANSAC，被设计用来处理在输入数据中有更大量输出的情况。和那些在图像对齐时尽可能使用多数据的通常算法不同，初步的RANSAC在计算底层模型参数时使用了最少的特征点，然后继续扩大使用连续数据点的数据集。

据Liu和Zhang称，更老的图像拼接方法会用两个图像间的单应性去对齐他们。单应性不会处理视差，所以这些输入图像都有相似的视角或者大致的平面。如果这些要求不满足，它将不会完成对准，导致重影或者弄坏图片。至于他们自己的算法来说，他们必须去对准图像以便将要拼接的重合的地方留一块区域[11]。在他们的论文中，Liu和Zhang引入了一个无论视差的变化多么显著都能成功对齐图像的方法 [11]

校准技术在两张图片间先识别SIFT特征点，然后匹配。检测和匹配后，本文使用了他们的算法来在两个图像之间寻找一个好的对准方式。该算法将随机指定一个特征种子组；种子组将会延伸至临近的特征点去在了两个图像间近似求得一个好的对齐方式。对齐将对它的拼接质量求值。如果拼接质量满足条件，算法将会停止，否则将会重复这些步骤（再次种子组拓展，对齐近似估算，拼接质量评估）[11]。

E. 图像畸变

在图像分析时，图像畸变是很重要的瓶颈。它是一个通过在图像间映射达到变形图像的函数.

相机或者观测角度产生了需要消除的光学畸变，他们通过获得具有参考表格的图像，例如地图或者多于两个的图像来对齐。

畸变把一个图像的行列坐标对应到另一个图像的位置的二维函数。在寻找合适的扭曲方面，有很多方法可以做到; 然而，最常用的方法是坚持失真，是光滑和实现良好的匹配之间的折衷。平滑度可以通过承担经一个参数形式的认证。有很多的扭曲现有的方法方法的使用薄板样条生产平稳变形[28].

不能解释视差并转化为有重影的构件。在像接缝切割和混合图像组合物用于减轻重影假象。他们的方法涉及图像对准，再采用无缝切割算法来寻找一个缝对齐的图像放在一起，最后使用多频段融合算法来生成最终图像拼接的结果。图像的翘曲全局有助于避免某些局部变形[11]

F. 图像混合

为了创建两个不同的图像的无缝全景，使用图像的混合技术是很重要的.Whitaker所提出的用于图像混合算法依赖于比较所述水平集的图像的差度量的最小化。它导致从一对差分方程的多维水平集传递方向模式。上述方法可产生更自然的外观上比内插的方法，因为它控制图像轮廓而不是强度值[12]的形状。 由Ho等提出的另一种算法[13]集中于合成图像的彩色化。该算法利用以确定在图像彩色化[13]色传播的优先顺序共混重量扩散而非色度值的直接传播。

III. 拟议算法

提议过程使用常规的图像缝合管道，如图2所示。使用的技术大多是修改现有流程。

图2：图像拼接过程

A.关键点检测

特征点是从图像中检测到的。尺度不变特征变换（SIFT）检测器用于关键点的检测。第一阶段是尺度空间极值检测，在其中搜索所有尺度和图像位置之后，使用高斯差分为了用于确定是不变缩放和取向潜在特征点。接着，特性是通过剔除比某个阈值低的那些kepoints和那些沿着边缘滑动本地化，然后取向分配给每个特征点[1]。

B.关键点描述

检测关键点之后，一个描述符，以描述特征点使用。特征描述包含有关关键点有趣的信息。该信息被放置到其在从其他鉴别一个特征中使用的特征矢量。在以后的过程中，该描述符信息用于关键点的精确的匹配。

在这个过程中，围绕关键点创建一个16times;16的窗口。窗口被细分成十六窗口，每个具有4times;4块。在4x4窗口每个仓的大小和方向是通过EQ1和EQ2分别计算。

(1)

(2)

图3：大小和方向的一个4 * 4箱的关键点

直方图是基于所有的箱的大小和取向创建。相反，使用8bin直方图像SIFT描述符，我们只使用bin4直方图。图4.描绘了4箱直方图，后面只用4块的理由是，有时在图像中的对象的颜色由周围环境的颜色的影响，如在图5.1和5.2中描述。因为一天的不同时间的，颜色在图像中变化。

图4：分成4箱的直方图

图5.1 晚上的场景

图5.2：晚上的场景

图 5.1 对应的灰度图

图5.2: 图4.2的灰度图

由于不同的照明条件，在图梯度的方向。5.1梯度的图过渡相反。5.2，如在包围部所描绘，除了图示的区域中，存在其中含有梯度的方向相反的图像等几个方面. 除了考虑到像素的计算大小和方向，还需要的关键点，并在该窗口中的像素之间的距离。高斯加权函数被用于此目的. 图像然后归一化。像素的大小被截断为0.2，则该图像是归一化试。64位的特征矢量，然后，以描述一个关键点创建.

6.1：输入图像

1. (b)

图6.2（a）SIFT描述符拼接结果（b) 描述符拼接结果

通过所提出的描述符中，检测较少匹配的数目。在图6.1中，当使用SIFT描述匹配的数目是3022，而当提出描述符用于匹配的数目是1527。因此，所提出的描述符的弱点是，有少其可以是匹配的数用过的。然而，SIFT描述的所得到的缝合图像是与所提出的描述符的所得缝合图像是相同的，如图所示。6.2（​​a）和图 6.2（​​b）中，分别 这是因为用于后来的图像对准技术克服了描述符的限制.

对于照明变化图像，所提出的描述符往往比SIFT描述效果更好.

图7.1：输入图像

1. (b)

图7.2:（a）SIFT描述符拼接结果 (b)拼接结果

图7.1是输入图像。图7.2（a）是所得的缝合图像时使用的SIFT 描述符，而图 7.2（b）是将得到的缝合图像用于提出的描述符时。基于这些结果，显而易见的是，所提出的描述符表现较好

C. 对齐

图像对齐使用修改后的本地单应性方法。本地单应性在引进[视差宽容...]。该方法采用了一些候选单应的，由地方配套关键点计算组，并且这些得分基于他们如何很好地支持混合缝。这种方法，与缝混合补充，允许对大的角度差的情况下提高了稳定性.

D.变形

融合通过应用细粒度比单应变换增加匹配关键点之间调整。这里使用的方法，计算出平滑和内插稀疏地分布匹配关键点偏移向量翘曲载体。其结果是在重叠区域增加对准。

E. 融合

无缝融合是使用图切割来分割重叠区域，并从一个到下提供更平滑的切口的共混技术。其他算法切缝通过标记段是任何一个图像或其他[举出一些。所提出的技术修改此这样的存在，增加无缝混合非像彩色的地区，同时还避免强烈的重影效果的能力的混合区。

颜色调整掺合开发的接缝交融无法重新颜色的区域融合不够好，在色彩方面的技术。它通过了缝的申请后，第一检测领域做到这一点。融合，展现在一个地区，在输入图像，什么都没有大的颜色梯度差。然后，它细分这些方面和应用加权掩模重新彩色图像，使得这些区域在感知上相等的颜色。

IV. 实验与讨论

30人进行了调查得分与APAP，哈里斯RANSAC，而我们自己的实现SIFT的相比，该过程的输出质量。比其余略高该算法分数作为如图 8.

图8 proposed,APAP,SIFT,Harris算子的比较

V. 总结

本文提出了一种方法，不同的拼接图像。我们观察到，与显著相异图像往往不能很好而不产生不必要的伪像缝合。然后，我们开发了可缝合以最小误差相异图像的方法。我们使用现有的关键点检测。然后，我们用一个

剩余内容已隐藏，支付完成后下载完整资料

---

资料编号：[25806]，资料为PDF文档或Word文档，PDF文档可免费转换为Word