基于局部全局对比提示的多尺度超像素显著目标检测模型外文翻译资料

英语原文共 8 页，剩余内容已隐藏，支付完成后下载完整资料

基于局部全局对比提示的多尺度超像素显著目标检测模型

MU Nan¹ (穆 楠), XU Xin^1,2lowast; (徐 新), WANG Yinglin³ (王英林), ZHANG Xiaolong^1,2 (张晓龙) (1. School of Computer Science and Technology, Wuhan University of Science and Technology, Wuhan 430065, China; 2. Hubei Province Key Laboratory of Intelligent Information Processing and Real-Time Industrial System, Wuhan University of Science and Technology, Wuhan 430065, China; 3. School of Information Management and Engineering, Shanghai University of Finance and Economics, Shanghai 200433, China)

copy; Shanghai Jiao Tong University and Springer-Verlag Berlin Heidelberg 2017

摘要：显著物体检测的目标是预估最有可能吸引人类视觉注意力的区域。 作为一种重要的能降低计算复杂度的图像预处理过程，目前显著物体检测在计算机视觉领域中仍然是一个具有挑战性的问题。 在本文中，我们提出了一个基于局部和全局超像素对比度在多尺度上集成的显著物体检测模型。 我们通过计算三个特征来估计超像素的显著值。 同时我们通过两个优化措施来改善生成的的显著图。我们在四个公共数据集上和最先进的显著性模型进行的大量实验对比能够证明该模型的有效性。

关键词：显著物体检测，超像素，多尺度，局部对比度，全局对比

中图分类号：TP 391.4

文献标识码：A

0介绍

人类视觉系统（HVS）能够迅速挑出场景中最显著的区域。我们通过这种视觉注意机制，探索用视觉显著性来模拟人类处理视觉刺激的方法。为了实现与人类视觉大体上相同的显著物体检测效果，我们提出了许多显著性模型来辨别不同的线索。作为一个预处理步骤，显著物体检测可以广泛应用于许多计算机视觉应用中，如图像分类，目标检测，图像分割，图像检索等。一般来说，低水平的视觉刺激能激发视觉注意力。因此，用于显著物体检测的大多数计算模型都是采用自底向上的方法，其利用低级图像特征来测量图像区域与其周围环境之间的对比度。理想的情况下，显著区域往往与其邻域具有高度对比。在本文中，我们提取亮度，颜色和梯度特征来确定图像区域的对比度。所提出的显著物体检测模型利用多尺度超像素分割对输入图像进行预处理。该程序可以提高检测精度并保持显著物体的完整性。超像素操作也可以使显著性计算更有效。为了进一步提高结果的性能，我们引入暗通道先验和中心先验策略来优化显著图。

1相关工作

最近，显著物体检测的研究受到越来越多的关注。这种预处理操作在减少许多计算机视觉任务的计算负担方面起着重要作用。因为视觉注意力是由低级别图像特征的刺激引发的，大多数现有的显著性计算模型是基于自下而上的方法，这种方法利用低级图像特征来测量图像区域与其周围环境之间的对比度。 Itti等人^[1]通过使用亮度，颜色和方向特征的中心 - 环绕差异来生成显著图。 Harel等人^[2]提出了一种基于图形的算法来生成显著图，该图是集成了局部唯一性的图。Rigas等人^[3]通过对图像块进行局部稀疏编码来提取特征以构建显著图。Zhang等人^[4]使用本地颜色描述符来评估图像的显著性，Nouriet等人^[5]利用具有自适应大小的局部补丁来描述网格显著性。这些模型使用局部对比的方法来生成显著图，并且倾向于只突出显著对象的边缘。

全局显著性模型通过计算图像区域和整个图像之间的差异来估计显著值。Luo等人^[6]提出了一种全局显著信息最大化模型，该模型通过PCA方法检测全局显著分量。Wu等人^[7]认为网格显著性检测是全球罕见的。 Xuetal^[8]提出了基于全局对比度的LRSW模型，构建了一个优化的矢量模型来检测显著对象。这些模型使用全局对比来生成显著图，并倾向于将背景区域突出显示为显著对象。局部和全局方法的结合可以更好地弥补这两个缺点。 Yeh等人^[9]采用局部显著性估计和全局均匀性优化方法来检测显著对象，从而达到显著的精度和召回率。 Tong等人^[10]提出了一种基于线性编码的显著目标检测算法，通过探索局部和全局信息，使显著性结果更加均匀和可靠。Fan等人^[11]实现了基于局部和全局短期稀疏表示的显著性检测。局部显著性是通过稀疏编码方案实现的，而全局显著性是通过低槽代表性实现的。

本文提出了一种基于超像素的模型，通过结合局部和全局方法来估计显著物体，如图1所示，其中N是超像素的数量。 首先，提取亮度，颜色和梯度特征来描述输入图像。 然后，以多个比例来计算每个超像素的局部 - 全局对比度。 最后，将获得的不同特征的显著图进行整合以形成最终的显著图，并且利用暗通道先验和中心先验策略来优化结果。 微软亚洲研究院（MSRA），分割评估数据库（SED），复杂场景显著性数据集（CSSD）和大连理工大学 - 欧姆龙公司（DUTOMRON）数据集的实验结果表明，所提出的显著性模型具有最先进的性能和最好的表现。

图1提出的框架概述

2推荐的显著性模型

在本文中，我们提出了一种基于超像素的多尺度显著物体检测框架，并基于局部对比度和全局对比度联合建模的显著性检测。 我们首先使用有效的简单线性迭代聚类（SLIC）算法^[12]来生成超像素。 然后我们通过三个描述符（包括亮度，色度和梯度特征）来计算每个超像素的显著性。 为了更好地描述显著性信息，我们将局部和全局的对比考虑在内，并进行暗通道先验和中心先验。

2.1多尺度特征提取

输入图像首先被分割成个超像素 对于基于超像素的显著性模型，分割方法将直接影响显著性图的准确性，同时这种分割方法受到超像素数量的影响。 对于背景区域，在不同比例尺下可能具有相似的超像素，但显著区域可能在几个尺度上具有有区别的超像素。 为了处理尺度问题，本文提出的方法分别在N = 100,200,300的多个尺度下进行显著物体检测。 我们计算每个尺度上所有超像素的亮度，色度和梯度特征，如果超像素与其邻域之间具有高对比度通常可以代表其具有高显著性值。

2.1.1亮度特征对比度
在许多情况下，亮度差异可能是影响视觉注意力选择的主要因素。同时亮度特征可以在不同程度上影响其他视觉特征表现。对于输入的RGB图像，我们将其转换为CIELAB（CIE 1976 L * a * b *（Commission Internationale de LEclairage，CIE））颜色空间，并利用L分量来估计亮度差异。

如果它相对于所有其他超像素是显著的，则超像素被认为是显著的。）为分量中超像素和超像素的平均亮度值之间的欧几里德距离。当亮度差异较高时，超像素被认为是显著的。因此，对于每个超像素，我们通过计算与所有其他个超像素的局部亮度差来估计其全局对比度。令为超像素的位置中心与超像素之间的欧几里德距离，归一化为范围[0,1]。我们将一对超像素之间的亮度差异定义为：
（1）
规模为n（n = 1,2,3，分别表示三个尺度）的超像素的亮度显著性值定义如下：
（2）

然后，将每个比例处的亮度显著图归一化到范围[0,1]。最后，我们用不同尺度的平均值来表示明度特征对比度的显著图：
（3）

2.1.2颜色特征对比度

除亮度差异外，视觉特征的注意选择也受到颜色差异的影响。同时颜色特征也是反映显著信息的重要指标之一。 我们通过计算A分量和B分量中超像素和超像素的平均颜色值之间的欧几里德距离来估计颜色特征对比度。 （4）

颜色特征CS的显著图可以根据方程（2）和方程（3）由得出。

2.1.3梯度特征对比度

梯度特征对估计复杂场景中的显著物体起着重要作用，它可以测量图像局部灰度变化的程度。 因此，我们添加梯度不相似的特征对比，使显著性计算更加合理和准确。 设表示输入图像I的灰度，我们分别通过下式计算每个像素在水平和垂直方向的梯度值：（5）

（6）

梯度相异性是通过计算平均梯度值之间的欧几里得距离分别在和中的超像素和超像素。 （7）

梯度特征的显著图可以根据公式（2）和公式（3）由得出。

2.2暗通道先验

先验暗通道可以从参考文献[13]中的输入图像中去雾。根据对室外图像的观察，一些像素或区域通常至少具有一个具有非常低强度的颜色通道。这意味着成像像素的暗通道主要是由暗区或特殊区域产生的，它们通常出现在显著物体中。因此，可以利用图像I之前的暗通道来估计超像素的显著性。首先，对于一个像素，先验暗通道被定义为：

（8）

其中是I的颜色通道，是以 。然后，通过以下来计算每个超像素之前的暗通道：

（9）

其中是超像素内的像素的数量。低强度区域可以通过暗通道计算来有效的识别出来。因此，黑色区域，彩色表面或特定对象可以从输入图像中挑选出来。同时，这些因素也是显著物体的一部分，因为暗通道非常黑暗。所以暗通道属性很适合用来估计兴趣区（ROI）。

2.3中心先验

由于人类在看图片时经常关注图像中心附近的物体，因此应将更接近图像中心的超像素的显著值赋予更高的权重。 这种方式可以更好地预测显著对象。 因为考虑到这种因素，我们在算法之前进一步整合了该中心。表示超级像素的中心，表示输入图像的中心。我们为每个超像素SP（i）添加权重以实现中心优先。 根据和之间的欧几里德距离计算权重。

（10）

2.4显著性地图融合

基于多尺度方法，所提出的模型通过比较超像素所有其他超像素之间的局部差异来分别估计每个超像素在局部和全局范围内显著性，其计算全局对比度。 在亮度，颜色和梯度特征图上执行对比度显著性计算，其产生三个显著图， 和。 三个不同的图是互补的。 我们将这三张地图整合成一张显著图。 然后，我们引入暗通道先验和中心先验方法来优化结果。 超像素的显著值由以下构成：

（11）

最终的图是通过融合三个尺度的显著图而获得的。 这种方法可以消除由此产生的显著图的噪声。 为了证实所提出的模型的性能，所进行的实验将在下一节中进行描述。

1. 实验结果

我们在四个标准数据集上显示九个显著物体检测模型的实验结果：MSRA ^[14]，SED ^[15]，CSSD ^[16]，DUT-OMRON ^[17]。 MSRA数据集广泛用于视觉显著性检测，它其中包含了具有显著对象的基本实例的图像。SED数据集包含两个子集，每个子集分别包含一个或两个显著对象。 CSSD数据集包含具有不同大小的多个显著对象的图像。 DUT-OMRON数据集包含各种具有挑战性的图像和相应的基本实例。我们使用其他八种最先进的模型（包括非参数（NP）^[18]，图像符号（IS）^[19]，情境感知（CA）^[20]，低秩（低） （LR^）[21]，Patch Distinction（PD）^[22]，显著性优化（SO）^[23]，多尺度（MS）^[24] 以及Bootstrap 学习（BL）^[25]模型。测试结果通过均分所有测试图像的结果获得。我们首先采用受试者工作特征（ROC）和曲线下面积（AUC）来评估不同显著性模型的表现。 ROC曲线包含真正的真真率（TPRs）和假真率（FPRs）。通过改变显著图上的阈值，我们比较获得的二进制掩码和地面实况以计算TPR和FPR。图2显示了八个最先进的显著性模型和所提出的模型的ROC曲线。如图2所示，所提出的模型对四个不同数据集上的现有显著性模型有利。 AUC值是ROC曲线下面积的百分比，这表明显著图显示了真实的显著物体。表1显示了四个数据集上九种不同显著性模型的AUC值。显然，所提出的模型具有最先进的性能。

如图2所示，所提出的模型对四个不同数据集上的现有显著性模型有利。 AUC值是ROC曲线下面积的百分比，这表明显著图显示了真实的显著物体。表1显示了四个数据集上九种不同显著性模型的AUC值。显然，所提出的模型具有最先进的性能。然后，我们使用自适应阈值将平均精确度，召回率，性能与其他模型进行比较。平均精度和召回值是根据二进制掩码和实际情况获得的，定义如下：

（12）

所提出的方法使用beta;²= 0.3来衡量精确度和召回率。图3显示了这些不同模型的精度，召回率和性能比较。总体而言，所提出的模型在8个显著性模型中表现良好。图4显示了由不同模型生成的显著图的定性比较。为了更直观的比较，我们引入了平均绝对误差（MAE）来评估显著图和地面真值之间的差异。

，

其中W和H是显著图的重量和高度，G

剩余内容已隐藏，支付完成后下载完整资料

资料编号：[21279]，资料为PDF文档或Word文档，PDF文档可免费转换为Word