英语原文共 10 页，剩余内容已隐藏，支付完成后下载完整资料

基于服务机器人和Leap Motion控制器的家庭环境交互系统

1. Georgoulas*, A. Raza, J. Guuml;ttler, T. Linner, and T. Bock

*Chair of Building Realization and Robotics, Technical University Munich, Germany E-mail: christos.georgoulas@br2.ar.tum.de

摘要

老龄化社会和残疾人在面对日常生活简单任务（ADL）时往往会遇到众多挑战[1]。 ADL代表了那些需要人们在日常生活中能独立完成的任务。近年来关爱年长者的问题变得越来越重要。从长远看，对于日常活动的表现会被认为是一个很重要的指标，尤其是针对那些需要一些特殊护理的人。本文的目的是介绍一种环境智能系统[2]，实际在具有一定规模的家庭环境中，嵌入式传感器和传动装置，以此增强执行ADL的人的独立和自主性。一个真实的1：1比例实验平台在实验室条件下已经被设计并开发出来（图1）。这项研究是为了能够确定的实际需求，所需的服务，以及改善环境的功能。为了达到目标，一个移动机器人车被引入房间用作人机交互的主要就接口。这个小车是通过无线接入的，并且通过多种交互方式与人类交流。比如被动交互，如声音发送指令，或者主动的，比如自动在家庭环境中导航移动。同时，Leap Motion手势驱动设备被用作一个高级交互功能。这个交互设备支持厘米级别精度的交互为Jaco系统提供有关指令。为了弥补之前那些系统的活动性不足的缺点，许多机器人系统已经被设计出来处理日常生活简单任务。然而，大多数上述系统都是使用的键盘或者控制棒来进行控制，这种传统的控制方式往往需要比较复杂的机械系统，还需要一些列参数和技术路线的选择。本文开发了一种新的人机交互模式，为了降低操作的复杂性。用户能够用比较简单的手势去操作和控制复杂的机械手臂和机械装置。从而脱离了键盘和控制棒的帮助。这样就可以使整个系统图的容错率变高，让用户能够感受到环境的反馈。

关键词：机器人与机电一体化;传感器融合;环境辅助生活;自主导航; Leap Motion控制器;雅科机械臂

1.引言

环境智能（AMI）是一门新兴学科，包含了人类日常生活中的一定的智能环境。AMI通常与那些反应性的，非侵入式，无处不在、主要是嵌入式的系统相关联。 AMI通常被认定为智能传感器和软件被嵌入到我们的日常环境中[6]。人类与机器人的互动与合作已成为日益重要的问题，尤其是统一人类与机器人的关系，这是最常见的服务应用程序的话题。

如今，机器人和机器人分布子系统通过服务和增强了的附加功能渗透到我们每天的生活中。同时，此渗透也在改变我们对机器人，机器人技术与我们与机器人融合的看法。这种转变其中有可以理解为机器人的进化是自然的一部分，当机器人进入服务与支持行业时会尤为明显。

老龄化社会需要一种新方法来使用机械电子和机器人服务技术去解决日常生活中的困难。医疗，建筑，和机器人领域已经在行业早期发展中被涉及到此项发展中来。

生命的第三阶段（70岁 – 85岁）的健康问题发生得更为频繁。因此，老年人在独立管理自己的日常生活活动中面临着巨大的困难。在大多数情况下，在家进行监护是退休老人门最简单的疗养方法。由于养老院的出现为老年人提供了由机器人辅助的能够独立在家里进行生活的心的解决方案。

在本文中，移动小车作为通信桥梁被使用在用户和分布式智能环境之间，以及用于控制基于人类的手势和语音命令的机器人辅助系统。以1：1的比例在实验平台进行了构造。其主要思想是实现一个AMI机器人辅助的家居环境，以增加老龄化人口在执行他们日常生活任务中的独立性、自主性和质量。

本论文结构如下。相关工作在部分2中。在第3节说明实验环境和用于控制该辅助机器人系统的实现的接口。.第4节介绍的结论是基于人机交互来控制的机器人和智能环境系统的应用程序。

2.综述

一些研究人员已经提出了智能和辅助机器人环境，因为例如集成解决方案机器人房间[8]，Wabot房间[9]，或机器人镇[10]。这些方法是为了试验分布式的传感器和制动器。

环境可以与被控制的机器人系统进​​行通信，从而允许更简单和容错率更低的机器人的设计。自20世纪80年代一来几个研究小组创造了环境和建筑的原型，即所谓的智能建筑。根据Sakamuras T型引擎的硬件和互补操作系统，特隆房屋1，2和3已建成[11]。美国AwareHome [12]和PlaceLab [13]按照类似的方法已经建成。MIT的House_n [14]包括甚至模​​块化智能家具可以配备各种传感器系统。最近设计的辅助控制的原型，如“豪斯DER Gegenwart”（真实的住宅项目）[15]和“豪斯DER”（未来住宅项目）[16]，预见性地配备了集成各种网络技术，并拥有现代的设计。我们建造的智能楼宇和这些机器人间的类似尝试，让传感器控制的机器系统与建筑学的元素相结合。然而，这些方法的整合主要是通过传感器，制动器和机械手上控制装置来执行的。此外，他们提出的种种预测智能在受控的实验室环境中来实现，并不能直接地应用到一个常规中型公寓里，作为日常生活活动的集成辅助系统来实现。

在过去的几年中，不同的光学传感器已被开发出来，他们允许映射和采集的3-D信息。各种应用也已被引入，他们的利用提高了精度和鲁棒性，并且降低了成本和信息的3-D传感器[17]的时间。传感器的应用范围从工业用途转为民用，他们具有目标跟踪，运动检测和分析，以三维场景重建等功能[18]。这些应用具有在分辨率，帧速率的吞吐量，和工作距离方面的特殊性能。特别是对于基于手势交互的用户界面，提高该传感器的精度被视为是一项具有挑战性的任务[17，19]。 Leap Motion控制器为引入毫米级精度[20]的全新的手势姿态和位置跟踪装置。控制器操作是基于红外的光学元件和摄像头，而不是深度传感器。它的动作感应精度是无与伦比的，比任何已经在市面上上市的摄像头和传感器精度更高。它可以同时追踪人类所有的10个手指。如制造商所描述的那样，在检测每个指尖位置的精度大约是0,01mm，具有高达300帧每秒的帧速率。

基于语音的应用主要是需要不间断的实时语音进行命令输入。使用自然语音的智能系统，能够非常好的为用户服务。最近的一些应用，如语音控制GPS导航系统和语音控制的汽车娱乐服务都希望拥有一个稳定的声音接口。这无疑意味着，移动的语音接收装置需要能够符合要求，即扩展低复杂度和实时性的语音识别算法。这些问题最重要的，是连续语音识别的具有广泛的识别能力的方案。当前需要简化的系统，尺寸和功耗在选择硬件和操作系统软件时限制了它们的能力。原始CPU速度是底层处理速度的上限。嵌入式CPU通常缺乏浮点运算功能的硬件支持。此外，嵌入式设备也具有非常有限的存储器，存储容量和带宽[22]。对于这些缺点，以往的研究[23，24]，将词汇的识别应用集中在简单的任务上。他们在所提出的实施，能够实时一个开源的嵌入式语音识别系统，中等词汇量连续语音识别，能够完成主要的识别任务。

3.拟使用的系统架构

在实验室环境下建成了的真实的1：1比例的实验家居环境。测试了人机交互和机器人辅助系统。

3.1 Turtlebot自主导航与远程操作

Turtlebot移动流动站被用来[3]充当人机通信接口（图2）。 TurtleBot能够获取使用Microsoft Kinect感应[18]的视觉信息。深度传感器由红外线激光投影机组成，他采用了CMOS传感器，捕捉三维实时数据。深度传感器的感测范围是可调的，并且Kinect的嵌入式软件能够自动校准基于用户物理环境布置的传感器，检测到家庭环境中障碍的存在。由于该设备装备了超高动力学传感器和红外线传感器，它也可以提供夜视能力。因此，总体方案是老人可以通过TurtleBot的协助下，在低照明条件，即夜间，即使灯已经被关闭实现正常生活操作。一旦TurtleBot引入家庭环境中，精确的内部结构必须是已知的，这样方便了系统的使自主操作。之前的技术，提供了这样的信息，以自主车作为同时定位与地图（SLAM）[26，27]设备基础。 SLAM是用于由机器人和自主车辆建立的未知环境中的地图（没有先验知识），或更新一个已知环境内的地图（从一个给定地图的先验知识）的技术，可以实现在同一时间内保持环境中跟踪它们的确切当前位置和方向。这种技术将用于本文提出的系统中，以获得有关TurtleBot的工作空间中的所有必要的信息。一旦建成了平坦的已知拓扑结构图，自主移动小车就可以有效的在自主空间中巡航。图3描绘了记录情况，内部映射的关系。

该Turtlebot远程操作是基于ROS开源软件[28]而形成的。 ROS是一个操作系统，它允许在整个计算机网络的多个算法实例进行实时处理，引导机器人的机械手自主得活动。该ROS主计算机，在之前的研究项目中是由Turtlebot车载笔记本电脑组成。因此，那些在网络上发送的所有邮件都通过车载的笔记本电脑。该ROS从工作站被放置在实验单元内。从工作站主要提供导航和定位相关信息。

此外从工作站使用户能够远程操作已经连接到它的任何输入设备和机械手。另外通信接口一旦被连接，就能够远程操作标准的基于Andr​​oid 手机或平板电脑设备的Turtlebot系统。信息和通信技术连接性如图4所示。

3.2语音驱动的导航和远程操作

正如在第2节前面提到的，被用于语音命令驱动的人机通信接口实现了PocketSphinx语音识别应用程序。创造了一个特殊的字典和词汇文件。语音应用程序的用户声音与预编译的字典里的单词进行比较，然后通过应用来发布识别器的匹配的词。这使得在整个平面的不同位置的声音驱动导航都有同样的库来识别。一组五个关键字词组分别采用：“高升”，“厨房”，“卧室”，“卫生间”，“客厅”。当这些词被Turtlebot自带的话筒输入设备，来请求目标的检测

3.3 Leap Motion控制器导航和远程控制

Leap Motion引入了与亚毫米级精度的传感设备和新的姿态和位置跟踪系统，一个新的传感器被用于定位用户发出手势。 Leap Motion控制器（图6），能够跟踪用户的手掌的姿势，能够识别出用户各个手指和手掌的笛卡尔3-D坐标。

一旦用户手掌放入运动控制器的操作范围（约1米半径的半球形区域），用户的手掌的姿势及其坐标值值被以每秒高达300次的速率记录下来。使用交互运动控制器Turtlebot的远程操作功能能够直接操作在家庭环境中的移动机器人。由次，该控制器包括一个非常小尺寸的传感器，它可以被散布地放置在用户的附近，有效地替换笨重的输入设备如键盘等。

3.4 Leap Motion-Jaco机器手臂交互实现

本文为大家介绍一种新型的人机界面，提供了直观的日常生活活动控制和自适应操作，使用Leap Motion控制器和Jaco手臂[29]。一些研究者已经对机器人系统的效率，特别是机器人手臂，在日常生活活动中帮助残障人士[30，31]的作用做出了赞赏。在对辅助机器人提高残疾人个人的日常生活效率时，一个重要参数是在照顾者所需的总成本与机器人系统的成本之比，这涉及到长期的经济条件的计算。该雅科机械臂，是能够有效的替代护理人员并且节约成本[5,32]。

大多数机器人经由键盘或操纵杆来控制。不同的机器人拥有不同的复杂度，这往往需要较为复杂的操作过程来选择所需的操作模式，或执行特定轨迹路径转换。本论文通过更新交互方法，可以通过减少日常选择操作和其他操作的复杂度，来降低老年人面对日常生活活动时候操作的难度。而且由于操作难度的降低，更多的功能可以被加入到Jaco机械臂中去，从而提高了老年人的生活质量。而采用了原始的操纵杆“Kinova“的雅科臂因为其复杂性，在Leap Motion下可以更好的进行操作。Leap Motion控制器监视用户的手和手指，能够得到所有关于手部节点的角度和空间位置数据。这样，用户的真实臂和雅科臂之间形成了最佳的实际映射。此外，该臂的角度的功能，如滚动，俯仰角和偏航角被认为是映射过程，是人类手臂的现实表现。为了解决在用户和臂之间的安全要求，安全区的产生是根据机器人的操作空间来考虑的。以确保在Leap Motion控制器的操作范围内用户无意义的手部活动也能对机械臂进行操控。老龄化社会面临在日常生活活动执行简单任务的诸多挑战。现在关心的老人变得越来越重要。上肢障碍的人，也在进行日常生活活动时面临着困难。特别是那些脊髓损伤，神经肌肉疾病的患者。然而，本文论述的技术只能提供一个辅助方法，并不能让老年人独立的通过此次设计完成日常操作。

3.5整体系统架构

本位的系统架构展示在图10。自然人机交互控制器通过USB向ROS的PC主机发送数据，这是由TurtleBot的嵌入式通信接口所传送的。此外基于Android-的移动设备被无线地连接到ROS主计算机。无论是Leap Motion控制器和基于Android平台的手机都能够让用户进行输入操作。主要完成的系统是：

a) 记录的手的的角度需要速度的系统。

b）在该JACO操纵所需的位置和方向,用户手掌的姿势手臂的轨迹,JACO手臂手指抓和释放的操作（Leap Motion控制器）。

c）基于密钥的图形用户界面导航在已经建成的实验室家居环境Turtlebot（基于Android系统的设备）中进行。

其余的系统结构包括操作Jaco arm系统发送指令。其中，基于在家庭环境中的处理器（卧室的miniPC，入口的miniPC，轮椅的miniPC）可以利用从leap Motion所记录的输入数据，包括了手势和方向等信息。到Turtlebot主PC和专用迷你PC之间的数据交换的通信是使用标

剩余内容已隐藏，支付完成后下载完整资料

资料编号：[152971]，资料为PDF文档或Word文档，PDF文档可免费转换为Word