英语原文共 8 页，剩余内容已隐藏，支付完成后下载完整资料

基于贝叶斯方法的数字图像分割法

摘要:本文提出了一种新的基于贝叶斯框架求解方法来解决分割问题。分割，即通过估计每一个前景元素的透明度，然后从背景图像里提取前景元素。我们的方法模型包含前景和背景色度这两者的高斯空间变换，然后假定一个前景和背景色度值的阈值完成最终的输出。这种模型会使用最大似然准则同时估计前景和背景的最佳的不透明性。除了提供了一个原则性的方法，我们的算法还可以有效地处理对象与复杂边界，如：发丝和皮肤等。并且它为针对这些困难情况下的现有技术带来了改善。

简介

在数字分割中，前景元素通过假定每个像素的前景元素的色度和不透明度来从背景图像中提取。每一个像素的不透明度值通常称为alpha;阿尔法），并且图像不透明度，作为一个整体，称为alpha;消光或者关键。不透明度值设置为分数（在0到1之间）对于前景元素的透明度和拖影很重要，同样对于前景元素对象边界周围的部分覆盖的背景像素也很重要。

图像分割是用做为了合成前景元素并使之成为一个新的场景。图像分割与合成最初是为了电影和视频制作而发展起来的[4]，在那里他们已经证明是无价的。尽管如此，“高级分割”仍然是带点黑色的艺术，尤其是对某些众所周知的困难的情况，如毛皮或头发上轻微的痕迹。问题难是因为它本质上是一个欠约束：因为前景元素在一个单一的背景图像下通常有无限数量的与前景的色度和不透明度相对应的值。

在实践中，大多数情况下它仍然可能完成符合要求的分割效果。一种常见的方法是使用背景图像中已知的色度（通常是蓝色或绿色），并确定关于前景中的色度的设定（如红色，绿色和蓝色在每个像素的相对比例）；这些设定可以由操作者调整。其他的方法试图从自然（任意）背景来分割，利用已知区域的前景或背景，以估计前景和背景沿边界的颜色。这些色度一旦已知的，不透明度值是唯一确定的。

在本文中，我们调查了以前的最成功的数字图像分割方法，它们都相当于特设示范个案，但是它们每一个失败了，作为铺垫。然后我们介绍一个新的，更规律的，基于在贝叶斯框架的图像分割方法。虽然没有算法能在所有情况下给出完美的结果（给定的问题是固有的欠约束），但我们的贝叶斯方法似乎给这些情况下的每一个运行结果带来的改善。

背景

正如已经提到的，图像的分割和合成最初是为了电影和视频制作而发展起来的。1984，波特和达夫[8]介绍了数字模拟分割——阿尔法通道，并展示了经阿尔法通道的合成图像如何在创建复杂数字图像中的用处。最常见的合成操作是直接在原图上操作，这通过合成方法综述：

（1）

其中C，F，B分别是像素的合成色度，前景色度，背景色度，并且alpha;是像素的不透明度，用于前景和背景之间的线性混合。

图像分割过程从一张照片或一组照片（基本上是复合图像）开始，并试图提取前景和阿尔法图像。分割技术不同的主要是在于图像的数量和假他们所做的先验假设是关于前景，背景，或者是alpha;。

蓝屏图像分割是第一个应用真人图像分割中的技术。原理是拍摄这个主题与一个恒定的彩色背景形成对照，并对间隔的每一帧提取其前景和alpha;。这种图像处理方法自开始以来每个像素就未限定，我们有三个观察值和四个未知数。Vlahos率先推出添加简单约束的概念，使问题能够得到追踪；这项工作被Smith和Blinn漂亮地总结了。例如，在这个假设的条件下，Vlahos约束方程组：

（2）

其中和分别是输入图像的蓝色波段和绿色波段，和是用户控制的调谐参数。约束方程就是上面这个方程。然而，虽然易于实现，作为一个特设的个例，但还需要一个专家来调整，还可能在相当简单的前景中失败。

最近，三岛由纪夫发展了基于有代表性的前景和背景的技术样品（图1）的蓝屏图像分割技术。特别是，该算法开始与2个相同的多面体（三角网格）近似在RGB空间球体中心的平均值样本背景样本。一个多面体的顶点（背景的多面体）然后重新定位辐射从中心到多面体的移动沿线是尽可能小，同时还包含所有背景样本。其他多面体的顶点（前景多面体）同样地调整给了最有可能不包含从样品提供的前景像素多面体，。给定一个新的复合颜色C，然后三岛把线从B通过C并且用背景和前景的多面体定义十字路口的分别从B和F。沿直线的C的部分位置的分割阈值就是alpha;。

在某些情况下，可能是一幅图像的前景目标清晰但是背景已知可是不连续。处理这样一个情况的一个简单的方法就是找到图像和已知的背景的区别并且确定一个处在0到1之间的任意阈值。这种方法，称为差值分割法（见，例如，[9]）它容易出错，并且会导致分割参差不齐的分割。模糊平滑操作对于缓解分割参差不齐有帮助，但是通常来说并没有对总的的误差有所补偿。

蓝屏差值法的一个限制就是，它依赖一个受约束的环境或者是它要求成像场景能提供一个已知且颜色持续的背景。从相对任意的照片或视频流中提取前景和不透明度的更通常的问题被称为自然图像分割。据我们所知，两种最成功的自然图像分割系统Knockout系统（由Ultimatte发展出来，Berman等人申请的专利）在这两种系统下，这个过程从通过将图像分为三个区域开始：绝对前景，确定定背景，和未知区域。然后相关算法计算得出未知区域内的所有像素的F，B和alpha;的值。

对于Knockout系统，当用户进行分割后，下一步就是要由已知的前景和背景颜色推算未知区域。特别是，给定一个在未知区域的点，前景的F值就代表已知前景区域边界上所有的像素。将最近的已知像素的权重设置为1，并且权重将会随着直线距离减小，达到权重为0像素的距离是最近的像素两倍的距离。同样的过程根据附近已知的背景像素初步估算背景的值。

估算的背景颜色是为了后续改良后的B值，通过几种在特征上较为相似的方法中的一种。一个这样的方法通过估计背景颜色与正常平行线建立了一个平面。在未知区域的像素的颜色，则由平面沿法线方向上的投影决定，并且这个投影值将作为一个B值精确的估算值，公式如下所示。

最后，根据下面这个关系式来筛选设定的alpha;值，

（3）

在上式中f()函数代表通过RGB空间的三个颜色的几个可能坐标轴（例如，在一个R，G，或B轴）。图1（f）中说明了alpha;的计算与r轴和g轴相关。在一般情况下，alpha;通过投影到所有所选择的轴计算得到，并且最终的alpha;值从所有的投影的权重总和中取得，对于每条轴来说，权重与方程（3）中的分母成比例。

吕宋和托马西[ 10 ]提出了一种概率的观点，这个观点和我们自己的观点有点接近。首先，他们将未知边界的区域分成若干子区域。对于每个子区域，他们构建包含子区域的框，包括附近的一些已知的前景和背景区域（见图1）。包含前台和背景像素，然后被视为样本分布色空间中的分别对P（F)和P(B)的取样。前景像素被无定向地分割成连贯的集群。高斯（即高斯是轴对齐的色彩空间）适合于每个集群，每一个平均的均值和对角线的协方差矩阵。最后，前景分布是作为一个混合高斯（总和）。同样的程序在背景象素服从的高斯核函数，每一个与平均二和协方差，然后每一个前景集群与每一个背景集群配对。许多这些配对不是基于各种“交集”和“角”标准。图1（g）显示一个单独的配对前景和背景分布。

建立这个网络的双高斯后，吕宋和托马将观察到的颜色C视为来自中间分布的某处介于前景和背景分布两者之间的。中间分布也被定义为一个高斯函数的总和，其中每个高斯集中在不同的平均值位于分数（根据一个给定的alpha;）沿着一条在每一个带着分数插值协方差前景和背景配对群之间的线，图1（g）所示。最佳的alpha;是一个服从中间分布，这个分布能使得被观察到的颜色的概率最大化；也就是说，最优的alpha;的选择是独立于F和B。作为一个后处理过程，计算的B与F作为前景和背景聚类的加权总和，这个加权总和是利用个体成对分布概率作为权重。F与B的颜色，然后将他们视为一条通过观察到的颜色和满足合成方程直线段的终点

Knockout和Ruzon-Tomasi技术这两者被扩展到视频的手分割每一帧，但对视频来说更多的自动技术是可取的。Mitsunaga等人[ 6 ]开发的自动密钥系统从视频中提取前景和alpha;，其中一个用户播种一帧有前景和背景轮廓，然后随着时间的推移发展。然而，这种方法，对前景和背景作出强大的平滑假设（事实上，所提取的前景层假定在附近的轮廓是恒定的）是专为在从前景的过渡中使用比较硬的边缘背景，也就是说，它不适合于透明度和发丝状的轮廓-。

在上述的每一个情况下，一个像素的单一观察收益率通过建设欠约束系统空间分布或维持时间相干性来解决。Wallace[12]提供的解决方案,这个方案被Smith和Blinn [11]独立地（后来的）开发和改进：在多重已知背景前的同一个对象中提取图像。这种方法导致了一种约束系统无需构建任何邻域分布并且可以用最小二乘法求解。而这种方法比单一立体背景用在蓝屏图像分割需要更多的控制工作室条件，并不是很适合现场动作捕捉，它不提供一种高精度估计的计算方法和真实对象的alpha;值。当需要作对照时，我们就用这种方法来提供手工图像分割。

我们的贝叶斯框架

对于接下来论文的发展，我们将假设我们的输入图像已被分割成三个区域：“背景”，“前景”和“未知”三个区域，其中背景与前景区域已经被划定且保存下来了。然后，我们的算法的目标就是为了解决前景色F，背景色B，不透明度alpha;为每个像素内的未知图像区域给定所观察到的颜色C。既然F，B，C每个都有3种颜色通道，那么我们的问题就是3个公式与7个未知数。

像Ruzon和Tomasi一样[10]，我们会通过从一个给定的邻域分布里构建前台和后台概率来部分地解决问题。然而，我们的方法是对从前景和背景区域里的所定义的邻域及向内行进区域使用连续滑动窗口，并利用附近F，B，alpha;计算值（除了从“已知”区域的这些值）构建面向高斯分布，如图所示图1（d）。此外，我们的方法将相关参数的计算问题放到一个已经定义明确的贝叶斯框架中，并通过使用的最大后验（MAP）技术解决了它。在这一节中，我们将详细描述我们的贝叶斯框架。

在MAP的估计里，我们尽力找到F，B，alpha;和给定的观察C的最可能的值。我们可以将这表达为一个概率分布P的最大化，然后使用贝叶斯规则将结果表示为对数似然性总和的最大化：

（4）

在该式子中L（.）是对数似然性，L（.）=logP（.），我们放弃P（C）值因为它是一个相对于优选法参数的常数。（如图1（h）所示，我们通过这个分布来寻找最佳F,B和alpha;这几个参数的取值。）

现在问题就被降低到求出对数似然性和:

（5）

这种对数似然模型在测量C值时会出错，并且与标准偏差为高斯概率分布的中心相关。

我们利用图像的空间相干性来估算前景值L（F）。更确切地说，我们利用在每个像素邻域N内已知并且事先估算过的前景颜色来构建颜色概率分布。对于更粗糙的前景颜色分布模型，我们依据两个分离因子计算每一个附近像素值i的加权贡献。首先，我们通过来计算像素的加权，能够给不透明的像素更高的存在感。然后，我们利用的空间高斯降落值来增强附近像素的贡献，相对于那些更远的像素。然后结合的权重就为。

对于给定的一系列前景颜色和它们相关的权重，我们首先采用Orchard和Bouman的方法将颜色划分为一些群。对于每个群，我们将计算其颜色权重的均值和协方差矩阵：

（6）

（7）

其中。该前景L（F）的对数似然可以被椭圆型高斯分布推导出的模型模型化，利用的权重协方差矩阵如下所示：

（8）

背景的对数似然依赖于我们正在解决的图像分割问题。对于自然图像的分割，我们使用和对前景同样的操作，设置到，并且将B代替式子（6），（7），（8）中的F。对于持续颜色的分割，我们计算所有被标记为背景的一系列像素的均值与协方差。对于差值分割，我们有每个像素的背景颜色。因此，我们将已知的背景颜色作为均值并且用用户定义的方差制作背景噪声的模型。

在这个过程中，我们假定不透明度L（alpha;）的对数似然是持续不变的（并且放弃公式（4）中的最大化）。一个从真实分割数据中推导出的更好的L（alpha;）就是剩下未来需要做的工作。

因为在式中alpha;与F，B的乘积，在我最大化的函数里，它的未知部分并不是一个二次方程。为了有效地求解这个式子，我们将这个问题分化为两个二次式方程的小问题。在第一个小问题里，我们假设alpha;的值不变。在这个假设条件下，对（4）式中的F和B求偏导。然后将它们都设置为0：

（9）

其中I是33的单位矩阵。因此，对于定值alpha;，我们可以通过求解66线性方程来找到参数F和B的最佳取值。

在第二个小问题里，我们假设F和B是不变的，并且满足alpha;的二次方程。我们可以通过在颜色空间的FB直线段上标记出的观察到的颜色C来得到方程的解：

（10）

其中分子包含两种颜色的差分向量的点积。为了优化整个（4）式我们交替使用这两种假设。为了开始优化，我们将alpha;初始化为邻域附近像素的均值，然后求解alpha;不变条件下式（9）。

当有超过一个前景或背景集群，我们对每一个前景和背景集群执行上述优化程序并且选择最大似然配对。请注意这种模式，同一个混合高斯模型不同，假定观察到的颜色仅仅对应于一对前景

剩余内容已隐藏，支付完成后下载完整资料

资料编号：[150844]，资料为PDF文档或Word文档，PDF文档可免费转换为Word