英语原文共 7 页，剩余内容已隐藏，支付完成后下载完整资料
人工智能进展(2018)7:189-195
普通论文
基于Kinect传感器的人体骨骼运动分析的后续事件的检测方法
Hong-Bo Zhang1,2 · Miaohui Zhang3 · Jinyang Guo4 · Qing Lei1,2 · Tsung-Chih Hsiao1,2
收到日期:2017年9月2日/接受日期:2018年2月8日/在线发布日期:2018年2月17日copy;
Springer-Verlag GmbH Germany, part of Springer Nature 2018
摘要
检测后续动作事件对于智能视频监控系统中非常重要，尤其是在安全入口中最为重要。然而没有有效的方法来识别后续行为。本文提出了一种基于人体骨骼运动分析的跟踪动作识别方法。我们使用Kinect来捕捉人体骨骼数据，并将后续动作表示为关节轨迹的差异特征。识别后续动作的最困难的地方是对后续动作和伴随动作进行分类。为了避免来自同伴行为的错误警报，这种类型的人类交互应该通过关节点的相对位移来检测。在我们方法中训练一个SVM分类器来识别后续动作、同伴动作和其他动作。我们为了验证所提出的方法，在研究过程中建立了一个新的后续动作数据集。实验结果表明，该方法能够有效地识别后续动作。
关键字：异常事件检测·跟随动作·人体骨骼·关节轨迹差异特征
1介绍
跟踪事件检测在安全监控中有着非常广泛的应用，特别是在安全入口中应用最为广泛。例如在机场的自动通关通道一次只可以容纳一个人通过，因此有必要自动地检测第二个人跟随前面一个通过安全入口的人的情况。我们没有在文献综述中发现关于后续动作识别的相关文献。不过我们发现异常事件检测和人类行为识别与此主题有许多相似之处。一些异常事件检测和人类动作识别的方法可以用于后续动作识别。检测异常事件
B Hong-Bo Zhang
hongbobest@gmail.com;zhanghongbo@hqu.edu.cn
华侨大学计算机科学与技术学院，厦门，中国
华侨大学计算机视觉与模式识别重点实验室，厦门，中国
江西科学院能源研究所，南昌，中国
中南大学材料科学与工程学院，长沙，中国
1
2
3.
4
在视频监控中是计算机视觉中一个具有挑战性的研究课题[1-4]。它是现有的包括交通视频监控、紧急警报和视频检索等几个应用程序的基本组成部分。在Chandola的工作[4]中，他把异常检测定义为在不符合预期行为的数据中发现模式的问题。在[1]中，人群场景中发生的异常事件主要表现为两种典型类型:被监控区域内移动可疑的物体和有可疑行为的物体。在我们的工作中，后续事件主要是涉及到第二个人跟随之前一个人通过监视区域，就像前面举过在机场的例子，人们通过机场的自动清关通道。这里后续行为包括嫌疑犯的可疑举动。因此这种后续事件检测任务可以看作是复杂动态环境下的异常事件检测任务。
基于聚类的事件检测方法[2,3,5]、基于重构的事件检测方法[6]和基于推理的事件检测方法[1,7,8]已经得到了广泛的研究。虽然视频监控中的异常事件检测已经引起了相当多的研究关注，但这一领域还还远远不够成熟[4,8]。此外，研究人员主要集中于检测特定的异常事件，如跌倒检测[7]，入侵检测[8]和异常
人工智能进展(2018)7:189-195
190
19 Joints
RGB Video
19 Joints
SVM Classifier
Kinect
Joint Trajectory Difference Feature
Training
Human Skeleton
19
Joints
Joint Relative Displacement Trajectory
Following Event
Companion
Others
19 Joints
RGB Video
Multiple Candidate
19 Joints
SVM Classifier
Kinect
Human Skeleton
19 Joints
Joint Trajectory Difference Feature
图1提出的方法框架
运动检测。因此我们重点研究了视频监控过程中后续动作的识别，并提出了一种新的后续动作识别方法。许多关于人类动作识别的研究表明，考虑时空兴趣点(STIP)[9]、特征轨迹[10]和目标/场景上下文[11]的方法可以获得较好的识别效果。近年来利用彩色图像/深度图像 (RGB-D)数据识别人体动作引起了人们越发浓厚的兴趣。由于Kinect的摄像头能提供准确的人体骨骼信息，因此基于确定骨骼特征进行人体动作识别成为了一个更受欢迎的研究领域。
由于之前没有解决后续动作识别问题的直接方法存在，一些已经应用于RGB-D数据中识别人类动作的方法[12-15]已经在我们的以下动作数据集中得到了验证。然而，实验结果表明，最佳性能的识别正确率仅为83.57%，低于一般动作识别的结果。相对于一般的人类动作和事件识别问题，视频监控中仍然没有有效的后续动作识别方法。传统的动作识别难以对后续动作进行建模;由于人体姿态、遮挡和背景杂波的多样性和复杂性，使得很难检测后续动作。大多数普遍的动作识别方法都需要能够代表所有动作类别并具有良好识别能力的特征。很难设计出一种能够识别所有行为类别的判别方法。不同于一般的动作识别，后续动作识别
旨在识别一个特殊的类别。然而，这一类别的鉴别特征尚未被发现。最近开发的商品深度传感器为解决这一问题开辟了新的可能性。为了解决后续行为问题，我们的工作提出使用人体骨骼运动特征来表示后续行为;我们训练了一个SVM分类器来识别动作。提出的方法框架如图1所示。
在后续动作的识别中，使用Kinect来检测人体骨骼是非常有效的。之前的一些研究[12,13,15 - 17]报告了使用Kinect检测人体和骨骼时的良好表现。首先，在每一帧中，Kinect计算每个关节相对于头部的位移。每个关节的运动轨迹用相对位移矢量表示。其次，通过分析每两个人在每一帧中的关节距离来计算所需求的特征，即本工作中的“关节差特征”，来表示后续动作。在训练阶段，利用联合轨迹差分特征对SVM分类器进行训练。在测试阶段，在一个包含多个可能目标的场景中，每一对人都被视为一个候选对象，并用联合轨迹差分特征来表示。最后通过SVM分类器确定动作类别。
我们的工作有三方面的贡献:
1.我们提出了一种基于联合轨迹差分特征的跟踪动作识别方法。据我们所知，这是第一次讨论后续行为识别问题的研究。
2.在本文中，我们建立了一个动作数据集，并利用该数据集验证了其他一些重要的方法。
人工智能进展(2018)7:189-195
191
3.实验结果表明，与现有的通用动作识别方法相比，该方法是有效的。
本文的其余部分结构如下：第二部分回顾了相关的研究工作。第三部分描述了提出的方法。第四部分对实验结果进行了介绍和讨论，第五部分对本文进行了总结。
2相关工作
识别后续动作是一个新的应用需求。虽然它的新的特性使我们的工作更加困难，但也使我们的工作显得更重要和有意义。虽然之前没有关于后续动作识别的直接相关工作，但是异常事件检测和人类体动作识别与我们的工作有很多相似之处。因此，在下一节中，我们将回顾使用RGBD数据进行异常事件检测和人体动作识别的主要方法。
从RGBD视频中检测异常事件和识别人体行为的方法很多。这些方法可以分为基于关节运动轨迹的方法[18-20]、基于局部特征的方法[10、13、14、21、22]和基于对象上下文信息的方法[23 - 25]。
人体骨骼关节提取自RBGD摄像机采集的三维深度数据。许多关节特征描述符是通过关节位置和运动来表示人类动作和事件的。Yang等人提出了一种新的基于骨骼关节差异的动作特征描述符，并使用朴素贝叶斯最近邻算法(Naive Bayes Nearest neighbour algorithm, NBNN)来识别多个动作。Wu等人提出了actionlet集成模型来表示每个动作并捕获类内不变量。Xia等人提出了一种基于三维关节位置直方图(HOJ3D)的人体动作识别新方法。
另一种表示骨骼关节的方法是同时使用RGB和基于深度的局部特征。Wang等人提出了一种新的模型来表示人类关节子集的相互作用。Yang等人使用支持法向量(support normal vector, SNV)来表示事件。超曲面法线按深度顺序聚类，形成一个多法线，用来共同表征局部运动和形状信息。Rahmani等人提出了一种结合深度图像的判别信息和三维关节位置的算法，实现了较高的动作识别精度。其他局部特征包括STIP特征，它在事件识别中得到了广泛的应用。Chakraborty等人[10]提出了一种新的使用选择性STIPs的动作识别算法，Yu等人[22]开发了时空隐式形状模型(STISM)来表征稀疏局部特征的时空结构。
以前的方法没有利用这种上下文信息。事实上，在人类动作识别过程中，目标检测和姿态估计起着实质性的作用。Desai[25]提出了基于局部视觉交互的成分模型及其相互关系，考虑人体姿态和交互对象的Phraselet模型。Yao[23]将动作识别、目标检测和姿态估计结合成无向图。Zhu[24]意识到不同物体间相互影响的动作。。
3提出的方法中的算法
3.1联合轨迹差分特征
Shotton[26]利用Kinect传感器提出了一种新的方法，可以在不使用时间信息的情况下，从单一深度图像中快速准确地预测人体关节的三维位置。在这种方法下，人体骨架是由在三维空间中的20个节点( Jf= J 1f , J2f ,..., J20 ),代表的。其中Ji f ={x if , yi f , zi f}是第i个节点的位置。f是视频的帧数，xfi是水平位置，yif是垂直位置。Zfi是深度位置J1f是头关节。框架中的其他节点是相对于头关节位置:
2、hellip;hellip;,20。轨迹的第i个关节视频可以表示为RJi= {RJ1i, RJi2，hellip;， RinJ}，其中n是视频的帧数。in 联合轨迹差分特征的框架如图2所示。
对于两个不同人的同一个关节，通过计算视频中所有帧上关节运动轨迹的偏差差，得到轨迹差特征。具体来说，第i个关节的特征可以定义为通过连接?每一帧中两个关节的距离D= D, D，hellip;i i1i2d:in
(1)
其中RJf1i是第一个人的第i个关节的位置
子和RJ2i fis位置相同的关节在第二人称。位移由欧几里得距离来计算。最后，将以下动作表示为联合轨迹差分D = {D2, D3，hellip;，D20};关节轨迹的维数是19*n。
人工智能进展(2018)7:189-195
192
人类骨骼
关节轨迹
i联合
每个person-pair
df
Di = {di1, di2,K, din}
i联合
图2联合轨迹差分特征的框架
图3分类任务的一些数据示例:a表示后续动作的样本，其中后面的人跟随前面的人;b同伴行为的样本;c两个人谈话的动作。训练分类器区分视频(a)与视频(b)和(c)
3.2跟随动作分类器
为了识别后续动作，视频用联合轨迹差分特征表示，用径向基函数核训练支持向量机分类器。对场景中的每个人对进行联合轨迹差分特征计算，利用分类器识别后续动作、同伴动作、交互事件等动作。图3显示了此类分类的一些示例。如果将场景中的任何一对人员归类为执行后续动作，则该场景视为包含后续事件。
SVM分类器是高维空间中的二分类器。为了实现多类分类，SVM模型训练采用了一对一策略。对于每两个动作，用RBF核(总计( Mtimes;(Mminus;1))/2 S
剩余内容已隐藏，支付完成后下载完整资料
资料编号：[237799]，资料为PDF文档或Word文档，PDF文档可免费转换为Word
课题毕业论文、开题报告、任务书、外文翻译、程序设计、图纸设计等资料可联系客服协助查找。
