城市街道的车道标志实时检测外文翻译资料

英语原文共 6 页，剩余内容已隐藏，支付完成后下载完整资料

城市街道的车道标志实时检测

图1 城市街道车道检测面临的挑战

摘要——我们提出了一个鲁棒和实时的方法来对城市街道中的车道标记进行检测。它是基于生成道路的俯视图，使用选择性定向高斯滤波器进行滤波，使用RANSAC线拟合，给初始猜测一个新的和快速的RANSAC算法拟合贝塞尔曲线，然后进行后续处理步骤。我们的算法可以在各种条件下检测街道静止图像的所有车道线。同时以50Hz的速率操作并实现与先前技术相当的结果。

第一部分 简介

在美国，汽车事故每年造成大约五万人死亡。高达90%的这些事故是由于驾驶员过失引起的。自动驾驶可以帮助我们减少这个数量庞大的人类死亡。一种有用的技术是车道检测，它自20世纪80年代中期以来已受到相当的重视。这项技术从使用单眼视觉到立体视觉变化，使用低级形态运算来使用概率分组和B-Snakes轮廓模型。然而，这些技术大多数集中应用在高速公路上的车道标记的检测因为与城市街道中的车道检测相比，这是一个更容易的任务。城市街道中的车道检测特别的困难。挑战包括：停放和移动的车辆，质量差的线，从树木投影下来的阴影，建筑物和其他车辆，更尖锐的曲线，不规则/奇怪的车道形状，新兴和合并的车道，太阳炫光，道路上的文字和其他标记（例如行人过街）。不同的路面材料和不同的坡度。（图1）

本文提出了一个简单、快速、强大、有效的方法来解决这个问题。它基于图像的俯视图，我们称它为反向透视映射（IPM）。通过使用经过优化以检测垂直线的选择性高斯空间滤波器对该图像进行滤波。然后通过将该滤波后的图像鲁棒性地阈值化，仅保持其最高值，使用简化的霍夫变换检测直线，接下来是RANSAC线拟合步骤，执行新的RANSAC样条拟合步骤以细化检测到的直线并且正确地检测弯曲的车道。最后，在检测到的样条的输入图像中执行清洁和定位操作。

这项工作能带来许多的贡献。第一，它具有鲁棒性和实时性，能够以50HZ的频率在采用英特尔酷睿2.2.4GHz的典型机器上运行640times;480的图像。第二，它可以检测图像中的任何数量的车道边界而不仅仅是当前车道，也就是说它也可以检测相邻车道的边界。这是了解城市道路图像的第一步。第三，我们提出一种新的和快速的RANSAC算法，用来有效地拟合样条曲线。最后，我们提出了通过采用手动标记的车道数据集来对我们的方法进行评估，并且引入一种自动的方式来对算法找打的检测结果进行评分。本文的组织结构如下：第二部分详细描述了方法。第三部分显示实验和结果，其后是第四部分的讨论。最后，我们在第五部分给出了结论。

第二部分 方法

图2 IPM坐标 左：坐标轴（世界，相机和图像帧） 右：音调alpha;和偏航角的定义

1. 反向透视映射（IPM）

我们系统的第一步是生成道路图像的俯视图。这有两个好处：

1. 我们可以摆脱图像中的透视效果，因此看起来会聚在地平线上的车道现在是垂直和平行的。这使用到了我们的主要假设，车道平行（或者接近平行）到相机。
2. 我们可以将注意力仅集中在输入图像的子区域，这有助于显著减少运行时间。

为了得到输入图像的IPM，我们假设道路是平坦的，所使用的相机固有（焦距和光学中心）和外在（俯仰角，偏航角和高于地面的高度）参数来执行此变换。我们首先定义一个世界框架{Fw} = {Xw, Yw, Zw}并且以相机的光学中心为框架的中心以及定义一个相机框架{Fi} = {u, v}如图2所示。我们假设相机框架Xc轴停留在世界框架XwYw平面中，即我们允许光轴的俯仰角alpha;和偏转角beta;，但是没有滚动。摄像机框架在地平面上方的高度为h。从图像平面中的任何点开始iP = {u, v, 1, 1}，这表明其在路面上的投影可以通过应用均匀变换找到。

即是在像平面上相对iP的地平面上的点。其中 {fu, fv}分别是水平和垂直焦距。{cu, cv}是光学中心的坐标，and c1 = cos alpha;, c2 =cos beta;, s1 = sin alpha;, and s2 = sin beta;。这些变换可以以矩阵形式有效地计算数百个点。可以容易地发现变换的逆变换为：

再次从地面上的一个点gP ={xg, yg, minus;h, 1} 开始，我们可以通过：

获得其在图像帧上的子像素坐标，然后重新缩放均匀部分。使用这两个变换，我们可以将感兴趣的窗口从输入图像投影到地平面上。图3显示了一个示例IPM图像。左侧示出原始图像（640times;480像素），感兴趣区域为红色，右侧图像示出变换的IPM图像（160times;120像素）。 如图所示，IPM图像中的通道在图像中具有固定的宽度，并且表现为垂直，平行的直线。

B.过滤和阈值

然后，通过二维高斯内核对经变换的IPM图像进行滤波。垂直方向是平滑高斯，

其sigma;y根据要检测的车道段（设置为等于1m的IPM图像）的所需高度来调整：。水平方向是高斯的二阶导数，其sigma;x根据车道的预期宽度进行调整（在IPM图像中设置为相当于3英寸）：。该滤波器专门针对特定宽度的暗背景上的垂直亮线进行调整，这是我们在IPM图像中的通道的假设，但是也可以处理在垂直处理之后产生相当大的输出的准垂直线。

使用这个可分离的内核可以有效地实施，并且比使用不可分离的内核快得多。图4是使用了可分离内核所得到的2D内核（左）和所得到的过滤的图像（中间）。从过滤的图像可以看出，它对车道标记具有高响应，因此我们只保留最高的值。通过从经过滤波的图像中选择q％分位数值，并且去除低于该阈值的所有值来完成，也就是说我们仅保留最高值得（q-1）％。在我们的实验中，q设置为97.5％。阈值化图像不是二值化的，也就是说我们保持阈值化图像的实际像素值，它是下述步骤的输入。在此步骤中，我们使用车辆与车道平行/接近平行的假设。图4（右）显示了阈值处理后的结果。

图3 IPM样本 左：输入图像与感兴趣区域为红色 右：IPM视图

图4 图像过滤和阈值 左：内核用于过滤 中间：过滤后的图像 右：阈值后的图像

C 线路检测

该阶段涉及检测阈值化图像中的线。我们使用两种技术：一个是用简化版本的霍夫变换来计算图像中有多少行，其次是用RANSAC线拟合以鲁棒地拟合这些线。简化的霍夫变换获得阈值滤波图像的每列中的值的和。然后通过高斯滤波器对该和进行平滑，检测局部最大值以获得线的位置，然后通过将抛物线拟合到局部最大值及其两个邻域来进一步精细化以获得子像素精度。最后，附近的线被分组在一起以消除对同一线的多个响应。图5显示了该步骤的结果。

下一步是使用RANSAC线拟合使之更好地适合这些线。对于上面检测的每条垂直线，我们聚焦在它周围的窗口（图6左侧的白色框），并在该窗口上运行RANSAC线拟合。图6（右）示出了在样本图像上的RANSAC线拟合的结果。

图5霍夫线分组 左：阈值图像的每列的像素的总和与红色的局部最大值 右：分组后检测线

图6 RANSAC线配件 左：从前一步骤的垂直线周围的四个窗口（白色）中的一个以及检测到的线（红色）右：从RANSAC线拟合步骤得到的线

D.RANSAC样条拟合

上一步给出了图像中的候选线，然后通过此步骤细化。 对于每一条这样的线，我们在图像中围绕一个窗口，我们将在其上运行样条拟合算法。 我们用来自上一步

骤的线来初始化样条拟合算法，如果车道是直线，这是该步骤的良好的初始猜测。在这些实验中使用的样条是三次贝塞尔曲线[12]，其具有有用的 属性，控制点围绕样条本身形成边界多边形。

第三级贝塞尔样条定义为：

当 t isin; [0, 1], Q(0) = P0并且Q(1) = P3，点P1和P2控制样条的形状（图7）。

算法1描述了RANSAC样条拟合算法。 主循环中的三个基本功能是：

1. getRandomSample（）：此函数从传递给RANSAC步骤的感兴趣区域中可用的点采样。我们使用加权采样方法，权重与像素值成比例的阈值图像。这有助于选择更多的相关点，即具有更高的机会属于车道的点。

1. fitSpline（）：这需要一些点，并且使用最小二乘法拟合贝赛尔样条。给出n个点的样本，我们为每个点pi =（ui，vi）分配值tiisin;[0,1] ，其中ti与从点pi到第一点p1的欧氏距离的累积和成比例。 定义点p0 = p1，我们有：

其中。这迫使t1 = 0和tn = 1，它们分别对应于样条的第一个和最后一个点。 接下来，我们定义以下矩阵：

并使用伪逆矩阵求解矩阵P：

这为我们提供了使拟合采样点的平方误差之和最小的样条的控制点。

3)computeSplineScore（）：在正常的RANSAC中，我们有兴趣计算从每个点到三次样条线的正常距离，以确定样条的好坏，但是这将需要为每个这样的点求解五次方程。 相反，我们决定采用更有效的方法。它通过使用高效迭代方法[12]对样条进行光栅化,然后对属于样条的像素值进行计数来计算样条的分数（良好度量）。它还通过惩罚较短和更弯曲的样条曲线来考虑拟合直线的直度和长度。具体地，得分计算如下：

其中s是样条的原始分数（样条的像素值的和），l是定义为l=（1 / v）-1的归一化样条长度测量，其中l是样条长度，v是图像高度，因此l= 0意味着我们具有更长的样条，l= -1意味着更短的样条，theta;是由theta;=（theta;-1）/ 2定义的归一化样条“弯曲度”度量，而theta;是连接样条的控制点的线之间的角度的余弦的平均值，即theta; = (cos theta;1 cos theta;2)/2， 并且k1和k2是正则化因子，参见图7.该评分公式确保我们支持更长和更直的样条，而不是更短和更弯曲的样条，其中更长和更直的样条比短路的曲线更不利。

图8示出了该算法的示例结果。左侧显示从RANSAC线步骤输出的线周围的感兴趣窗口（白色），检测到的样条为红色。右侧显示四个输出样条为绿色。

图7 样条分数计算

图8 RANSAC花键配件 左：从上一步获得的四个感兴趣的窗口之一（白色）检测到样条（红色）右：从这一步得到的花键（绿色）

E.后期处理

算法的最后一步是对前一阶段的输出进行后处理，以尝试更好地定位样条并将其扩展到图像中，如图9所示.这在IPM图像中以及在反向投影样条之后的原始图像中完成IPM空间到图像空间。在这里，我们执行以下三个步骤：

1）定位：我们从初始样条（图9中的蓝色样条）开始，然后我们对样条上的样条点（蓝色点）进行采样，通过这些采样点延伸一条线段，这些采样点垂直于该点的样条切线方向（黑线段）。然后，我们得到灰度图像。通过计算该线通过的像素位置，用平滑高斯内核卷积该线段，并查找结果的局部最大值。这应该使我们更好地定位样条上的点，以更好地适合道路车道（绿点）。此外，对新检测到的点的角度变化执行一次多次检查，并且如果该新点离预期位置太远，则拒绝该新点。最后，我们用局部点（绿色样条）重新拟合样条。

2）扩展：在样条的位置改进后，我们在IPM和原始图像中执行扩展，以便更好地适应车道。通过沿着切线方向（红点）从样条端点向前和向后看，并且通过法线方向（红色线段）创建线段来进行类似的进行，并且找到卷积这些段的灰度轮廓的峰值与平滑高斯滤波器。 如果新峰值低于某个阈值（其中没有线条的均匀区域），或者如果来自主要样条方向的方向变化超过特定阈值，则不接受新峰值，在这种情况下，扩展处理停止。

3）几何检查：在前两个步骤中的每一个步骤之后，我们还对局部化和延伸的样条执行几何检查，以确保它们不是非常弯曲或非常短，在这种情况下，它们被来自RANSAC线拟合的相应线替换，以确保适合的样条在IPM图像中接近垂直，否则它们将作为有效样条被拒绝。 图10显示了后处理样条曲线之前和之后的结果。

图9 样条定位和扩展

图10 后处理花键 左：在蓝后处理前的样条 右：花后后处理绿色。它们在车道上看起来更长和本地化

第三部分 实验

1. 设置

我们在不同类型的城市街道，有/没有阴影，在直和弯曲的街道上收集了一些剪辑。不同于以前的论文，只提到检测率的粗略百分比，为了获得准确的定量评估的算法，在这些剪辑中的四个中，我们手动标记了所有可见的车道，一共1224个标记的帧，包含4172个标记车道（表I ）。该系统使用Matlab进行原型开发，并使用开源OpenCV库在C 中实现。这些剪辑是相当具有挑战性的，对于剪辑＃1有很多曲率和一些书写在街道上的文字，剪辑＃2有不同的路面类型，太阳正面向车辆，剪辑＃3有很多阴影（在开始）和通过汽车，最后剪辑＃4也有街道文字和过往车辆（图1）。

下一节中显示的检测结果将使用手动标记的数据自动计算。在每帧图像中，将每个检测到的车道边界与地面实况车道进行比较，并且进行检查以确定其是正确还是错误检测。为了检查两个样条s1和s2是否相同，即是否表示相同的车道边界，我们对它们两者p1i和p2i进行采样。对于第一个样条上的每个点p1 i，我们计算第二个样条上的最近点p2 j，并计算两个点之间的距离d1 i。对于第二个样条，我们做

同样的处理，其中对于每个这样的点， 到第一样

剩余内容已隐藏，支付完成后下载完整资料

资料编号：[137401]，资料为PDF文档或Word文档，PDF文档可免费转换为Word