基于暗通道先验的单一图像去雾方法翻译资料

Single Image Haze Removal Using Dark Channel Prior

Kaiming He Jian Sun Xiaoou Tang

Abstract In this paper, we propose a simple but effective image prior - dark channel prior to remove haze from a single input image. The dark channel prior is a kind of statistics of the haze-free outdoor images. It is based on a key observation - most local patches in haze-free outdoor images contain some pixels which have very low intensities in at least one color channel. Using this prior with the haze imaging model, we can directly estimate the thickness of the haze and recover a high quality haze-free image. Results on a variety of outdoor haze images demonstrate the power of the proposed prior. Moreover, a high quality depth map can also be obtained as a by-product of haze removal.

1.Introduction

Images of outdoor scenes are usually degraded by the turbid medium (e.g., particles, water-droplets) in the atmosphere. Haze, fog, and smoke are such phenomena due to atmospheric absorption and scattering. The irradiance received by the camera from the scene point is attenuated along the line of sight. Furthermore, the incoming light is blended with the airlight [6] (ambient light reflected into the line of sight by atmospheric particles). The degraded images lose the contrast and color fidelity, as shown in Figure 1(a). Since the amount of scattering depends on the distances of the scene points from the camera, the degradation is spatial-variant.

Haze removal(or dehazing) is highly desired in both consumer/computational photography and computer vision applications. First, removing haze can significantly increase the visibility of the scene and correct the color shift caused by the airlight. In general, the haze-free image is more visually pleasing. Second, most computer vision algorithms, from low-level image analysis to high-level object recognition, usually assume that the input image (after radiometric calibration) is the scene radiance. The performance of vision algorithms (e.g., feature detection, filtering, and photometric analysis) will inevitably suffer from the biased, low-contrast scene radiance. Last, the haze removal can produce depth information and benefit many vision algorithms and advanced image editing. Haze or fog can be a useful depth clue for scene understanding. The bad haze image can be put to good use.

However, haze removal is a challenging problem because the haze is dependent on the unknown depth information. The problem is under-constrained if the input is only a single haze image. Therefore, many methods have been proposed by using multiple images or additional information. Polarization based methods [14, 15] remove the haze effect through two or more images taken with different degrees of polarization. In [8, 10, 12], more constraints are obtained from multiple images of the same scene under different weather conditions. Depth based methods [5, 11] require the rough depth information either from the user inputs or from known 3D models.

Recently, single image haze removal[2, 16] has made significant progresses. The success of these methods lies in using a stronger prior or assumption. Tan [16] observes that the haze-free image must have higher contrast compared with the input haze image and he removes the haze by maximizing the local contrast of the restored image. The results are visually compelling but may not be physically valid. Fattal [2] estimates the albedo of the scene and then infers the medium transmission, under the assumption that the transmission and surface shading are locally uncorrelated. Fattalrsquo;s approach is physically sound and can produce impressive results. However, this approach cannot well handle heavy haze images and may fail in the cases that the assumption is broken.

In this paper, we propose a novel prior - dark channel prior, for single image haze removal. The dark channel prior is based on the statistics of haze-free outdoor images. We find that, in most of the local regions which do not cover the sky, it is very often that some pixels (called ”dark pixels”) have very low intensity in at least one color (rgb) channel. In the haze image, the intensity of these dark pixels in that channel is mainly contributed by the airlight. Therefore, these dark pixels can directly provide accurate estimation of the hazersquo;s transmission. Combining a haze imaging model and a soft matting interpolation method, we can recover a hi-quality haze-free image and produce a good depth map (up to a scale).

Our approach is physically valid and are able to handle distant objects even in the heavy haze image. We do not rely on significant variance on transmission or surface shading in the input image. The result contains few halo artifacts.

Like any approach using a strong assumption, our approach also has its own limitation. The dark channel prior may be invalid when the scene object is inherently similar to the airlight over a large local region and no shadow is cast on the object. Although our approach works well for most of haze outdoor images, it may fail on some extreme cases. We believe that developing novel priors from different directions is very important and combining them together will further advance the state of the art.

2.Background

In computer vision and computer graphics, the model widely used to describe the formation of a haze image is as follows [16, 2, 8, 9]:

（1）

where I is the observed intensity, J is the scene radiance, A is the global atmospheric light, and t is the medium transmission describing the portion of the light that is not scattered and reaches the camera. The goal of haze removal is to recover J, A, and t from I. The first term J(x)t(x) on the right hand side of Equation (1) is called direct attenuation [1

剩余内容已隐藏，支付完成后下载完整资料

基于暗通道先验的单一图像去雾方法

何恺明，孙剑，汤晓鸥

摘要：在本文中，我们提出了一个简单而有效的图像先验——为单幅输入图像去雾的暗通道先验。暗通道先验来自对户外无雾图像的数据统计。它基于一个关键的观察——在绝大多数户外无雾的图像的局部区域中都包含一些在至少一个颜色通道中具有非常低强度的像素。利用先验建立的雾天成像模型，我们可以直接估计雾的浓度，并恢复高质量的无雾图像。各种户外雾霾图像的处理结果证明了所提出的先验规律的作用。此外，还可以获得高质量深度图作为去雾的副产物。

1.引言

户外景物的图像通常会因为大气中的混浊的媒介（比如颗粒，水滴等）而降质，雾、霭、烟等现象都因大气吸收或散射作用形成。摄像机从场景点接收的辐照度沿着视线衰减。此外，得到的光线还混合有大气光(经大气分子反射的周围环境的光线)。降质的图像的对比度和颜色的保真度有所下降，如图1所示。由于大气散射的程度和景点到照相机的距离有关，图像降质是随着空间变化的。

在消费／计算摄影业和计算机视觉领域，图像去雾有着广泛的需求。首先，去雾能显著地提高景象的清晰度并且改正因大气光导致的色彩误差。通常，无雾图像在视觉上更令人愉悦。其次，大多数的计算机视觉算法，从低级别的图像分析到高级别的目标识别，通常假设输入图像（在辐射校准之后）是场景辐射。视觉算法（例如特征检测、滤波、光度分析等）的实现会不可避免地因为偏光、低对比度图像而不理想。再次，去雾可产生图像的深度信息，有助于视觉算法和高级的图像编辑。雾霾或雾可以成为场景认识的有用深度线索。即使是不好的带雾图像也能得到好的利用。

然而，去雾是一项有挑战性的课题，因为雾所依赖的深度信息是未知的。而在只有一幅输入图像的情况下，解决这一问题又受到了制约。因此，不少学者提出了很多使用多张图像或其他更多辅助信息的去雾方法。在[8,10,12]中，在不同的天气条件下从同一场景的多幅图像中获得更多的约束条件。在[8, 10, 12]里通过从同一景象在不同天气情况下的图像获得更多的对比度的信息来去雾。基于深度的方法[5,11]需要来自用户输入或已知的3D模型的粗略深度信息。

最近，基于单一图像的去雾取得了很大的进展。这些方法的成功在于使用更强的先验或假设。Tan [16]观察到与输入带雾图像相比，无雾图像必须具有更高的对比度，并且他通过最大化恢复图像的局部对比度来去雾。得到的结果在视觉上效果很好，但可能在物理上无效。 Fattal [2]估计场景的反照率，然后在假设传输和表面阴影局部不相关的情况下推断中等传输。这些方法的成功往往得益于一个强有力的先验或假设。Tan[16]观察到无雾图像比有雾图像具有更高的对比度，他通过扩大复原图像的局部对比度来达到去雾的效果。这样得到的结果在视觉上是很吸引人的，但实际上在光学原理上达到去雾。Fattal[2]在假定透射率和表面投影在局部是不相关的条件下，估算景物的反射率，来推断景物光在空气中传播时的透射率。Fattal的做法具有物理实用性，并且能产生很好的去雾结果。 然而，这种方法不能很好地处理浓雾图像，并且在假设不成立的情况下可能会失败。

在这篇文章中，我们提出一种新的先验规律——暗通道先验，来用于单幅图像去雾。我们发现，在大多数不覆盖天空的局部区域中，通常一些像素（称为“暗像素”）在至少一种颜色（rgb）通道中具有非常低的强度。在雾度图像中，该通道中的这些暗像素的强度主要由大气光决定。因此，这些暗像素可以直接提供雾度透射的准确估计。结合雾霾成像模型和软抠图插值方法，我们可以恢复高质量的无雾图像并生成良好的深度图（达到一定比例）。

我们的方法在物理上是有效的，能够处理弄雾图像中远处的物体。我们不依赖于输入图像中透射率或表面着色的显着差异。结果包含很少的halo 效应。与其他使用先验假设的任何方法一样，我们的方法也有其自身的局限性。因此，这些暗像素能够直接用来评估雾光的透射信息。结合一个已有的雾成像模型和插值法抠图修复，我们可以得到高质量的去雾图像和很好的深度图。

和任何其他利用先验规律实现的算法一样，我们的实现也有其限制因素。当取景对象在较大范围内和天空接近并且没有阴影覆盖的时候，暗通道的猜想将不成立。尽管我们的去雾处理对大多数户外带雾图像都有较好成果，在一些极限情况下还是会失效。我们相信，从不同的方向来发展新的先验理论并且将其组合能推进现有技术发展。

2．背景

在计算机视觉和计算机图像中，下述方程所描述的雾天图像模型被广泛使用[16,2,8,9]:

(1)

I是指观测图像强度，J是景深，A是全球大气光成分，t用来描述光线通过媒介透射到照相机过程中没有被散射的部分，去雾的目标就是从I中复原J,A,t。方程右边的第一项J(x)t(x) 为直接衰减项[16]，第二项A(1-t(x)) 则是大气光成分。直接衰减项描述的是景物光线在透射媒介中经衰减后的部分，而大气光则是由前方散射引起的，会导致景物颜色的偏差。因为大气层可看成各向同性的，透射率t可表示为：

(2)

beta;为大气的散射系数，该式表明景物光线是随着景物深度d按指数衰减的。雾天成像方程(1)意味着，在RGB色彩空间中，向量A，J(x)，I(x)从几何学来看是共面的，它们的端点则是共线的（见图2（a）），透射系数t是两条线段长度之比。

(3)其中cisin;{r，g，b}是颜色通道索引，基于该模型，Tan的方法[16]侧重于增强图像的可见性。 对于具有均匀透射率t的区域，由于t lt;1，输入图像的可见度（梯度之和）因雾度而降低。 (4)

通过最大化区域的可见度并且满足J（x）的强度小于A的强度的约束来估计局部区域中的透射率t。使用MRF模型来进一步规范化结果。这种方法能够从雾度图像中揭示细节和结构。然而，输出图像往往具有更大的饱和度值，因为该方法仅注重可见性的增强而不能在物理上恢复场景辐射。此外，结果可能包含深度不连续处的光晕效应。

在[2]中，Fattal提出了一种基于独立分量分析（ICA）的方法。首先，假设局部斑块的反照率为常数向量R.因此，斑块中的所有J（x）具有相同的方向R，如图2（b）所示。其次，通过假设表面阴影J（x）和透射t（x）的统计在该区域中是独立的，可以通过ICA估计R的方向。最后，应用由输入彩色图像引导的MRF模型将解决方案外推到整个图像。这种方法是基于物理的，可以产生一个自然的无雾图像和良好的深度图。但是，由于此方法基于局部区域中的统计独立假设，因此需要独立组件显著变化。任何缺乏变化或低信噪比（例如，在密集的雾度区域中）将使统计数据不可靠。此外，由于统计数据基于颜色信息，因此对于灰度图像无效并且难以处理通常无色且接近噪声的浓雾。

在下一节中，我们将提出一个新的假设——暗通道先验，以直接估计户外带雾图像的透射率。

3．暗通道先验

暗通道先验基于以下对室外无雾图像的观察：在大多数非天空区域中，至少存在一个颜色通道在一些像素处具有非常低的强度。换句话说，在该区域中的最小强度应该具有非常低的值。形式上，对于图像J，我们定义

（5）

其中Jc是J的颜色通道，而Omega;（x）是以x为中心的局部区域。我们的观察结果表明，除了天空区域，如果J是无雾的室外图像，则J^dark的强度很低并且趋向于零。我们称J^dark是J的暗通道，我们将上述统计观察得出的经验性规律称为暗通道先验。

暗通道中的低强度主要是由于三个因素：a）阴影。 例如，城市景观图像中的汽车，建筑物和窗户内部的阴影，或景观图像中的树叶，树木和岩石的阴影; b）彩色物体或表面。例如，任何颜色通道中缺少颜色的任何物体（例如，绿草/树木/植物，红色或黄色花/叶和蓝色水面）将导致暗通道中的低值; c）深色物体或表面。例如，黑暗的树干和石头。 由于自然的户外图像通常充满阴影和色彩，这些图像的暗通道真的很暗！

为了验证暗通道先验的优势，我们在flickr网站和其他几个图像搜索引擎中，使用flickr用户注释的150个最流行的标签收集室外图像集。由于雾霾通常发生在室外景观和城市景观中，我们从下载的图像中手动挑选出无雾的陆地景观和城市景观。其中，我们随机选择5000张图片并手动剪切出天空区域。调整它们的大小，使宽度和高度的最大值为500像素，并使用15times;15的窗口大小计算它们的暗通道。图3显示了几个室外图像和相应的暗通道。

图4（a）是所有5000个暗通道的强度直方图，图4（b）是相应的累积直方图。 我们可以看到暗通道中大约75％的像素具有零值，并且90％的像素的强度低于25.该统计数据为我们的暗通道先验提供了非常强大的支持。我们还计算每个暗通道的平均强度，并绘制图4（c）中相应的直方图。同样，大多数暗通道具有非常低的平均强度，这意味着只有一小部分无雾的室外图像偏离了我们之前的假设。由于添加了大气光，雾度图像比其透射率低的无雾度版本更亮。因此，雾度图像的暗通道在具有更浓雾度的区域中具有更高的强度。在视觉上，暗通道的强度是雾浓度的粗略估计（参见图3的右侧）。在下一节中，我们将使用此属性来估计透射率和大气光。

请注意，我们忽略了天空区域，因为这里无雾图像的暗通道可能具有高强度。幸运的是，我们可以通过使用雾天成像方程（1）和先验一起来轻松地处理天空区域。因此没有必要明确地切出天空区域。我们在4.1节讨论这个问题。

我们提出暗通道先验，一部分是受到广泛用于多光谱遥感系统的众所周知的暗物体减法技术的启发。在[1]中，通过减去对应于场景中最暗物体的恒定值来去除空间均匀的雾度。 在这里，我们概括了这个想法，并提出了一个新的自然图像去雾先验。

4.通过暗通道先验去雾

4.1 估测透射率

在这里，我们首先假设给出了大气光A.我们将在4.4节中介绍一种自动估算大气光的方法。我们进一步假设局部区域Omega;（x）中的传输是恒定的。我们将该区域的传输表示为t~（x）。 在雾天成像方程（1）的局部区域中进行最小操作，我们得到：

（6）

注意到取最小值运算是对三个颜色通道单独进行操作的，该方程等价于：

（7）

这样，在上述等式对三个颜色通道取最小值运算，我们得到：

（8）

根据暗通道先验的规律,自然无雾图像的暗通道项J^dark应该是接近于0的:

（9）

A^c总是正的,导致:

(10)

把方程(10)带入方程(8)，我们可以简单地估算出透射率t：

(11)

事实上，是规格化的雾图的暗通道。它直接提供了透射信息。如前所述，暗通道先验对天空区域不成立，但幸好在带雾的图像中天空的颜色总是同大气光A非常接近，所以在天空区域我们有：

，和

又因为天空光来自无穷远处，其透射率趋近于0，所以式子(11)能较好地同时处理包含或者不包含天空的区域。我们并不需要事先把天空部分单独处理。

现实中，即使是很晴朗的天气，空气中总会不可避免地包含一些杂质颗粒。所以当我们看远处的物体时雾依然是存在的。此外，雾霾的存在是人类感知深度的基本线索[3,13]。 这种现象称为空中视角。如果我们彻底去雾，图像可能看起来不自然，并且可能会失去深度感。因此，通过在公式（11）中引入常数参数omega;（0 lt;omega;le;1），我们可以选择性地为远处的物体保留非常少量的雾：

（12）

这个修改的好处是我们自适应地为远处的物体保留更多的雾度。 omega;的值根据情况而定。 对于本文中报告的所有结果，我们将其固定为0.95。图5（b）是对输入雾度图像（图5（a））使用15times;15的窗口估计而得到的透射图。它效果相当不错但包含一些块效应，因为在该区域中透射率并不总是恒定的。在下一小节中，我们使用软抠图方法优化此透射率。

4.2 软抠图

我们注意到雾天成像模型方程(1)和抠图方程在形式上很相似。透射率的分布其实就是alpha;的分布。因此，我们应用了一种软抠图算法[7]来完善透射率分布函数。记完善后的透射率函数映射为t(x) . 把t(x)和~t(x)的用向量形式重新写成t和tilde;t , 把以下的代价函数最小化：

(13)

L 是Levin[7]提出的抠图拉普拉斯矩阵,是一个修正后的参数。第一项是平滑项，第二项是数据项，元素(i,j)和矩阵L定义如下：

(14)

和是输入图像I在i、j像素处的色彩，是Kronecker delta,和 sum;k分别是窗口中色彩矩阵的平均值和方差。是一个3*3的单位矩阵, 是一个修正参数，是窗口中像素的数目。

最优的t可以通过解下面的稀疏线性系统得到：

（15）

U是一个和L大小相等的单位矩阵。我们给设置一个很小的值

剩余内容已隐藏，支付完成后下载完整资料

资料编号：[19441]，资料为PDF文档或Word文档，PDF文档可免费转换为Word