行人意图车载检测外文翻译资料

英语原文共 15 页，剩余内容已隐藏，支付完成后下载完整资料

行人意图车载检测

摘要：避免车辆对行人的碰撞是当今先进的驾驶员辅助系统和未来自驾车车辆的关键要求。因此，从原始传感器数据中检测行人到现在已有15年的研究历史，具有视觉发挥的中心作用。在过去的几年里，机器学习提高了基于图像的行人探测器的准确性。然而，检测只是迈向回答核心问题的第一步，即车辆是否会与行人相撞，是否采取预防措施？因此，如果检测到的行人有打算过马路的意图，就必须报警处理，以便进行制动，以防撞车。然而，与行人检测相比，在探测行人意向方面的文献相对较少。本文旨在通过提出一种新的基于视觉的方法，来分析行人多个框架的姿态，以确定行人是否要进入道路。我们目前的试验显示，一个典型的城市驾驶速度为50km/h可以提供15米外(比较纯行人检测器)的车辆自动检测行人。此外，与先进的方法相比，我们的方法是单目的，既不需要立体声和光流信息。

关键词：行人意向；ADAS；自驾车

1．绪论

避免车辆对行人的碰撞是当今先进的驾驶员辅助系统和未来自驾车车辆的关键要求。因此，检测行人从原始传感器数据已有15年的研究历史，具有视觉检测的核心作用^[1]。在过去的几年里，深入学习提高了基于图像的行人探测器的准确性^[2]。然而，检测行人只是一个中间步骤，因为问题是如果没有采取预防措施，那么车就会与行人相撞。以下实例，使用图1-1左图作为参考，一个纯粹的行人检测方法将报告一个行人可能处于危险中，以及行人的位置，在前面的道路车辆，行人的距离车辆，和车辆的运动(方向和速度)。然而如果检测到的行人有交叉车辆的意图，尽快执行车辆减速是执行安全和舒适的必要条件（见参考^[3])。

图1(左)尽可能多地预测行人的意图，使汽车与驾驶员能有充足的空间进行机动。举例来说，我们想知道行人从人行道往上走时，是否会进入道路；或者如果它要进入一个关键的领域，车辆可以计算为其预测的驱动路径；(右)以路边(红线)为参照的不同情况。从上到下：行人将穿越的道路上汽车没有停止；行人走向道路汽车将是停止在路边；在路边停下来的行人是开始步行进入道路；在行人看来，平行路边的的车辆的轨迹将是弯曲趋近道路。

图1-1预测行人意图

本文旨在通过提出一种新的基于视觉的方法，来分析行人沿多个框架的姿态，以确定行人是否要进入可能会造成撞车危险的道路区域。所提出的方法依赖于：

(a)基于CNN的(卷积神经网络)姿态估计方法，检测行人并同时提供其骨架[^18]；

(b)基于从检测到的骨架中提取的一组高级特征和处理它们的规范化SVM(支持向量机)的快速分类器^[19]。

此外，由于姿态估计方法是单帧单眼方法，与检测行人意向的最先进的方法相比，我们既不需要立体声也不需要计算光流信息。

对于目前的研究，我们依赖于一个公开的数据集，旨在评估探测行人意图的方法^[7]。在这个数据集中，人们认为，当他/她从人行道向自我车辆前方的道路移动时，行人便进入了危险区域，如图1-1所示，我们目前的试验显示，车辆驾驶速度为50公里/小时，可以提供15米外的行人自动反应或警告。以同样的速度，启动紧急刹车可以减少需要住院的伤害几率从50%降到35%^[20]。

论文的其余部分按如下方式组织：在第二章，我们总结了与本文最相关的著作；在第三章，我们描述了探测行人意图的方法；在第四章介绍了所做的实验，并对所得结果进行了讨论。最后，在第五章得出结论。

2. 相关工作

预测行人未来的第一个尝试与行人路径预测有关，即确定行人的意图^[7]。设置此类变量的度量来自于基于支持向量机的行人检测器^[21]。利用基于卡尔曼滤波(IMM)的交互模型，根据所使用的动态模型和车辆自我运动补偿，对行人未来路径(2s)进行预测。总的来说，一个简单的恒速速度模型(与白噪声加速度相比)是更复杂的模型。通过考虑高斯过程动力学模型和概率层次轨迹匹配(包括粒子滤波、PCA和均值移位)改进了结果。在这种情况下，动态模型不仅使用了立体声数据，还依赖于从密集的光流中提取的运动特征和车辆自我运动补偿^[9]。该方法隐式地尝试预测跟踪行人的剪影如何随着时间的推移而演变。此外，它还明确评估了一个行人是否会从侧面步行到前方的自我车辆的问题。

本文提出了一种利用骨架特征检测行人意向的显式数据驱动模型，无需单独跟踪即可使用。事实上，跟踪只假设为一个整体的行人旨在检测意图。

在参考文献^[11]中，一个立体视觉系统也被用来评估行人的剪影以确定他们的意图。该方法优于以往要求车辆自我运动补偿仅用于跟踪行人。一部分研究者声称，这种补偿的需要过于精确，这对于确认意图至关重要。我们在这里介绍的方法不需要自我运动补偿(仅在跟踪使用时)。此外，我们的结果是不需要考虑密集立体声。

其他方法的重点是在板上头部和身体方位估计作为一个提示，以检测行人的意图。然而，目前还不清楚我们如何能够使用这些方向来提供意向估计，这两种信息所能带来的额外时间，都不能用来进行反应性机动。事实上，在2秒以下碰撞的时候，行人在过马路前往往会看车辆。在我们的研究中，我们依靠2D行人姿态估计方法。因此，我们已经考虑到这样方向的工作。我们使用的是更细粒度的方法，用于获得姿势同时也提供头部方向。因此，我们认为头部姿势估计是一个额外的线索。

在参考文献^[17]，建议进一步研究行人的步态模式，这是我们的方法实际使用的数据驱动方法。参考文献^[14]明确表示，由于缺乏有关行人姿势和身体运动的资料，导致行人在改变其过境意向时发现延误。因此，我们使用2D姿态估计来分析意图，这与这些建议是一致的。

3． 检测行人意向

3.1 方法

方法在图3-1中，第一步包括行人检测和跟踪，这是任何评估行人意图的方法的共同步骤。对于这些任务所使用的方法，我们是不可知的，我们只假定，对于每个行人，我们将有一个2D的边界框(BB)，它来自于检测和跟踪的组合。

第二步包括使用2D姿态估计方法，使骨架模型适合每个边界框中的行人。图3-1显示不同的骨架配件作为距离的函数。算法只在很大的距离(例如，图中的40m)中开始。

第三步包括提取特征向量，即psi;，根据每个履带行人的骨架，我们将最后一个特征向量T帧，产生一个每行人特征向量Psi;_t=lt;psi;_t，psi;_tminus;1，。。。，psi;_tminus;Tgt;，其中psi;_我代表帧中的特征向量i。

第四步包括将特征向量送入分类器中进行分类。

图3-1行人检测的具体方法

图3-2的方法是通过单帧的连续获取和处理，以检测和跟踪行人。对于每一个跟踪行人，我们的建议包括：估计行人的2D姿势的骨架拟合，计算特征从拟合骨架把他们输入到一个分类器，最后输出行人可能的意图。图3-4表示不同各种情况的骨架拟合。

(a) (b) (c) (d)

图3-2，2D姿态估计，即2D骨架拟合，增加行人车辆距离。

(a)13米；(b)18米；(c)40米；(d)45米。

(a)

(b)

(c)

(d)

图3-4为本文所考虑的四种情况的骨架拟合

3.2 骨架特征

在图3-5可以看到，合适的骨架是基于18要点。身体左右部分是分开的。然而，在处理图像时，并非所有的要点都非常精确地定位。我们发现，最稳定的九要点对应的是腿和肩膀，这些都是与高度相关的要点，因为最终的腿是执行行人的意图（开始步行或停止），肩部和腿部要点，提供关于全体身体方向的信息。

我们使用其中9要点，这些上部要点用于计算高度h，用作于坐标规范化的缩放因子。然后，利用归一化要点，以相对角度和距离为特征，计算出不同的特征。例如：

(1)距离在X(列)和Y(行)两个要点之间的轴和欧氏距离(∆x，∆y，kvk)；

(2)两个要点之间的夹角(theta;)；

(3)三角形的三角由三要点形成。

经过规范化它们成为特征向量的组成部分。

图3-5 骨架拟合基于18要点，区分左右臂和腿^[18]

从选定的要点，我们计算其功能。首先，我们根据一个因子来执行要点坐标的规范化。H定义如图3-5，与行人高度成正比。然后，考虑要点对的距离和相对夹角，以及要点诱导的三角形角，计算出不同特征(传递冗余信息)。我们的特征向量Psi;有维396T。

值得一提的是，我们知道任何要点沿不同的框架的位置，因为它们对应于一个特定的和独特的解剖部分的拟合骨架。因此，要点时间差异是有意义的。

3.3 分类器

本文研究了依赖于学习前沿和输出归一化分数的二进制分类器。特别是，我们测试了随机林(RF)和支持向量机(SVM)方法。RF能够学习非线性前沿和输出概率值。对于SVM，应用于RBF(径向基函数)的核分数。我们使用scikit来访问所有这些功能^[23]。

在本文中，我们假设一个程序，以检测行人意图的基础上，以下二进制分类器：

1．C_c：继续垂直行走于相机

2．C_b：继续与相机平行行走。

3．C_s：继续停止vs开始垂直于相机的行走。

每个分类器都可以有一个阈值来确定它是否激发。有了一个简单的行人跟踪，我们可能需要测试所有分类器，而跟踪行人运动矢量，我们可能需要只应用其中一个分类器。

4．实验结果

4．1数据集

唯一公开可用的数据集包含68个序列(总共9135帧)，用立体声相机记录在板上(在这里，我们只使用每对的左框架)放置在挡风玻璃前面面对前方的道路。图像以16FPS(帧/秒)拍摄，分辨率为1176X640像素。在这些序列中，有55辆车的速度从20公里到30公里/小时不等，而13辆车则是静止的。为了便于比较，将序列分为训练和测试，如表4-1中所示行人来与两种类型的bbs提供了事件标记以及在帧中发生事件的时间。

表4-1。每种行人意向的训练和测试序列的数目[7]

4.2 评价

我们使用相同的train–test分区的工作序列(如表4-1所示)。我们也遵循在训练分类器时选择正反面样本的要求。我们在三段样本中划分了一个训练序列：正，非，负。我们将使用符号Aminus;B，有一个gt;B，这意味着框架与TTEgt;一个用作正则样本，而框架与TTEle;B作为阴性样品使用；因此，框架与TTEisin;(B，A]在训练过程中被忽略。

由于有几个测试序列每意图，平均和标准偏差被绘制。我们选择一个适当的

剩余内容已隐藏，支付完成后下载完整资料

资料编号：[21594]，资料为PDF文档或Word文档，PDF文档可免费转换为Word