基于深度强化学习的未知环境路径规划算法研究开题报告

1. 研究目的与意义（文献综述）

1.1 研究目的及意义

随着机器人技术的发展，机器人面临的任务也越来越复杂，路径规划及障碍物避让是智能机器人在完成任务时的需要解决的基本问题。在机器人技术应用中，最基本的需求是拥有能够将人类的指令转换成机器指令的算法，使机器人能够相应地移动。这个过程通常被描述为机器人的运动路径规划或导航规划。运动路径规划是各种避免障碍和达到目标位置的技术。

传统路径规划方法对于复杂动态环境适应能力差，且大多依赖于地图的构建。传统机器学习方法依赖于人的先验知识选取的特征，通过统计分析实现回归、分类、标注等功能。近年来，深度学习作为机器学习的分支迅速发展。深度学习通过神经网络提取数据的层次化特征，其特征表示远优于人工特征和浅层特征。同时，凭借深层神经网络的函数拟合能力，可以实现端到端的机器学习。目前，在硬件计算能力大幅提升的背景下，深度学习已经渗透到数据分析、自然语言处理、计算机视觉等多个领域，发挥其压倒性的优势。在控制领域，研究人员将深度学习和传统方法结合，尤其是强化学习，使得人工智能具备了控制能力。随着机器学习和人工智能成为人们关注的焦点，深度强化学习在无人机、无人驾驶汽车、机器人控制等许多具有挑战性的领域变得流行起来。深度强化学习将强化学习与神经网络相结合，形成了人工智能领域的一个新的研究热点。

2. 研究的基本内容与方案

本课题基于深度强化学习方法设计了一种未知环境下的路径规划算法，所提出算法有较强的适应能力，且不依赖于地图构建。

移动机器人本体搭载一台 rgb-d 深度视觉传感器，对外部环境信息进行感知，在虚拟环境下利用深度强化学习的方式实现移动机器人的避障与导航的训练，以此为基础实现未知环境下在地面没有参考标志与地图信息情况下，构建地图并导航，免去了人为操纵机器人进行建图的麻烦。

（1）深度强化学习网络的搭建。在地面没有参考标志与地图信息情况下，强化学习是实现控制决策的非常有效的方法，对于高维度的信息输入，如彩色图像、深度图像、激光数据，深度学习提供了端到端的分类方式，结合了两者的深度强化学习在移动机器人导航方面有令人满意的效果。建立了四层卷积层，一层池化层的cnn 神经网络，输入为深度图像，输出为速度与角速度奖励值的概率分布函数，以此来控制机器人的运动决策，同时对决定奖励值的因素进行了设定。

3. 研究计划与安排

（1）第1－3周：查阅相关文献料，明确研究内容，了解研究所需理论基础，确定整体方案并完成开题报告。

（2）第4－5周：翻译英文文献，学习强化学习及深度学习相关知识，熟悉tensorflow深度学习框架；

（3）第6－9周：了解deep q-network算法流程，完成仿真环境的搭建，及整体算法设计。

4. 参考文献（12篇以上）

[1] jaradat m a k, al-rousan m, quadan l. reinforcement based mobile robot navigation in dynamic environment[j]. robotics computer integratedmanufacturing, 2011, 27(1):135-149.

[2] mnih v, kavukcuoglu k, silver d, etal. human-level control through deep reinforcement learning.[j].nature, 2015, 518(7540):529.

[3] zhu y, mottaghi r, kolve e, et al.target-driven visual navigation in indoor scenes using deep reinforcement learning[j].robotics computer integrated manufacturing 2016:236-249.