室外动态环境下视觉SLAM系统设计开题报告

1. 研究目的与意义

机器人自20世纪诞生以来，发展迅速，已应用于各行各业，如工业、农业、军事、生活服务等。其智能化水平越来越高，机器人也越来越接近人类生活。无论是已经被成规模运用的仓储物流小车（agv），家用的扫地机器人，还是当今工业界研究热点的无人驾驶，它们取得的成就与发展潜力引人瞩目。而对于移动机器人而言，一个很重要的问题便是如何从环境中获取位置信息，换言之，怎样得到未知环境中绘制出高精度地图，从而实现之后的路径规划等算法。这就是机器人四大核心问题中的感知问题，感知外界环境是机器人在人类社会复杂环境中稳定移动的一个很重要的前提，趋利避害，接近目标，避开障碍物。所以机器人导航系统应该使机器人充分的感知外界周围环境，才能够安全运行。

机器人要想融入到人类生活当中,首先应该能够在人类环境中稳定的移动。人类环境是复杂的，有很多服务于人类的静止的设施，也有些实物是处于不断的运动之中，不仅包括人类个体的运动，还包括人类使用的交通工具的移动以及存在于人类社会中的动物的运动等。这些都是智能机器人在人类环境中安全稳定运行所面临的挑战。

机器人同时定位与三维地图构建技术（slam）自上世纪90年代诞生以来便成为机器人导航领域的一个核心问题，它依靠移动机器人上装置的摄像头对环境连续摄像,从获取的连续图像对信息中得到周围环境的三维简化地图，其目标是在估计机器人的位姿参数的同时构建环境的地图。传统的slam方法主要依赖于稳定性较好的距离传感器如激光雷达[2]。然而激光雷达获得的距离数据非常稀疏，这就造成slam构建得到的环境地图仅包含极少量的路标点，这个地图仅能被用来提高机器人的定位精度，而无法用于路径规划等机器人导航的其它领域。此外激光雷达高昂的价格、较大的体积重量以及耗电量限制了其在某些领域的应用。相较于激光等传感器，视觉不仅能获得环境的距离、深度信息，还能获得对物体的颜色，并结合相关算法达到对物体的认知，其获得信息量几何性的超越激光雷达等传感器。

2. 研究内容和预期目标

本课题主要内容是针对室外场景，利用实例分割网络提取出场景的非静态物体的语义及位置信息，辅助slam系统进行机器人定位和建立稀疏点云地图。其算法模块主要分为视觉里程计，后端非线性优化，回环检测，建图，实例分割子模块，动态监测模块共6个部分。视觉里程计（vo）。视觉里程计的任务时估算相邻两帧图像之间相机的运动，及局部地图的样子，vo又称前端。本课题vo采用orb特征点法进行追踪。后端非线性优化。它接受不同时刻的视觉里程计测量的相机位姿，以及回环检测的信息，对它们进行优化，得到全局一致的轨迹和地图。本课题的后端采用g2o库利用集束调整算法进行优化。回环检测。它用来判断机器人是否到达过先前的位置。如果检测到回环，它会把信息提供给后端进行处理。建图。它根据估计的轨迹，建立与任务要求相对应的地图。本课题建立的地图是实时稀疏点云地图。以上四个部分属于传统视觉slam的四大部分，再次基础上根据任务需要，本课题需要重新设计两个模块。实例分割子模块。实例分割子模块利用实例分割网络，在室外数据集上进行训练，能够有效的区分地面，天空，车体，行人等，并且达到可以实时运行的标准。动态监测模块。该部分将接受实例分割子模块的结果，将提取的语义信息对slam系统提供的特征点进行标注，剔除不符合静态物体标准的点，并将新的特征点集合返回给slam系统。

毕业设计需要达到如下技术指标为：

1、系统重建速度：10秒

2、图像分辨率：640*480

3. 研究的方法与步骤

本课题的主要研究工作就是利用实例分割技术提供的语义信息，结合SLAM系统，对运动场景中动态物体进行识别分析，为机器人提供场景中静态场景的空间三维信息，进而得到机器人本体的位置和方位信息，保证后续导航任务的完成。其中关键技术主要包括实例分割技术、同时定位与地图构建技术和速度检测技术等。 首先需要掌握基本的SLAM系统设计，如现代摄像机针孔线性模型的数学表达式、特征点匹配追踪技术，对极约束求解相机运动，以及EPnP求解位姿等。此外，还需要掌握深度学习技术，特别是本课题相关的实例分割技术。并在理解上述理论和算法实现的基础上要实现深度学习技术的调试与线上部署，并实现与SLAM系统的结合以提高原SLAM系统的追踪精度，避免动态场景下运动物体对SLAM系统的干扰。

4. 参考文献

[1] Lee Y, Park J. CenterMask: Real-Time Anchor-Free Instance Segmentation[J]. arXiv preprint arXiv:1911.06667, 2019.[2] Mur-Artal R, Tardós J D. Orb-slam2: An open-source slam system for monocular, stereo, and rgb-d cameras[J]. IEEE Transactions on Robotics, 2017, 33(5): 1255-1262.[3] Girshick R. Fast r-cnn[C]//Proceedings of the IEEE international conference on computer vision. 2015: 1440-1448.[4] He K, Gkioxari G, Dollár P, et al. Mask r-cnn[C]//Proceedings of the IEEE international conference on computer vision. 2017: 2961-2969.[5] Bolya D, Zhou C, Xiao F, et al. YOLACT : Better Real-time Instance Segmentation[J]. arXiv preprint arXiv:1912.06218, 2019.[6] Xie E, Sun P, Song X, et al. Polarmask: Single shot instance segmentation with polar representation[J]. arXiv preprint arXiv:1909.13226, 2019.[7] Bescos B, Fácil J M, Civera J, et al. DynaSLAM: Tracking, mapping, and inpainting in dynamic scenes[J]. IEEE Robotics and Automation Letters, 2018, 3(4): 4076-4083.[8] Sun Y, Liu M, Meng M Q H. Improving RGB-D SLAM in dynamic environments: A motion removal approach[J]. Robotics and Autonomous Systems, 2017, 89: 110-122.[9] 赵洋, 刘国良, 田国会, 等. 基于深度学习的视觉 SLAM 综述[J]. 机器人, 2017, 39(6): 889-896.[10] 张慧娟, 方灶军, 杨桂林. 动态环境下基于线特征的 RGB-D 视觉里程计[J]. 机器人, 2018, 40(5): 1-8.

5. 计划与进度安排

2022-3-5～2022-3-11 查阅资料，分析实施方案； 2022-3-12～2022-3-31 完成实例分割算法的研究；2022-4-1～2022-4-30 完成同时定位与地图构建（SLAM）算法的研究；2022-5-1～2022-5-31 在SLAM框架内加入语义分割结果提高追踪准确度；2022-6-1～2022-6-22 整理完善所有毕业设计文档资料，上交全部资料的打印稿，毕业设计答辩准备，参加毕业设计答辩。