基于双目视觉的障碍检测系统的设计与实现开题报告

1. 研究目的与意义（文献综述）

1.1课题的意义与目的

随着人工智能技术的兴起，以自动驾驶车辆为研究对象的运动路径规划问题越来越受到重视。而避障路径规划是自动驾驶车辆的关键部分，对自动驾驶车辆的研究具有重大意义。在自动驾驶汽车行驶过程中，准确地避开障碍物是智能车辆的基本要求。一个好的避障路径规划算法可以安全实时地避开障碍物，且具有较高的乘坐舒适性，从而提高出行效率。

本论文研究的主要目的是基于双目视觉实现在车辆自动驾驶情况下的障碍物检测检测，计算出障碍物的深度信息。实验模拟了路面环境中可能出现的运动障碍，通过图像处理检测出障碍物，并通过三维重建算出障碍物的深度信息，以避免出现与障碍物碰撞事故，并且通过特征点检测和特征匹配的sift算法，以满足系统的实时性要求。

2. 研究的基本内容与方案

2.1研究内容

随着科技的发展，人工智能技术日趋成熟，无人机、自动驾驶汽车与人工智能机器人的技术的发展必然会面对障碍物的问题，本文即对自动驾驶的路径运动规划问题进行一定的研究，利用双目视觉传感器，基于sift算法设计并实现车辆的障碍物检测系统。

2.2研究目标

1.基于OPENCV实现对目标图片的获取；

2.了解双目相机的标定方法以及成像原理；

3.运用sift算法对图像进行特征点数检测以及匹配；

4.学习提取和采集双目目标区域的图像深度信息，最后实现并完成障碍物检测系统；

2.3技术方案与措施

1.获取图片

利用opencv调用双目摄像头采集15张及以上图像并保存^[2]。机器识别图像并不是一下子将一个复杂的图片完整识别出来，而是将一个完整的图片分割成许多个小部分，把每个小部分里具有的特征提取出来（也就是识别每个小部分），再将这些小部分具有的特征汇总到一起，就可以完成机器识别图像的过程了。

2.双目相机的标定方法以及成像原理

相机的主要部件包括镜头（Lens）和感光传感器(CMOS/CCD).相机成像基于理想的小孔成像模型^[3]，但是针孔难以收集足够的光线，所以需要透镜，于是与生俱来带着各种畸变，分为径向畸变和切向畸变。径向畸变一般由于镜头球形形状造成；切向畸变由于相机的装配造成。由于这些畸变的存在，我们需要对双目相机进行标定。标定即是或得相机的内部参数，如内部几何和光学特性，还有外部参数，即为相对世界坐标的位置关系（旋转矩阵和平移向量）^[4]。而这些可以利用opencv提供的角点检测函数检测出角点坐标^[5]，然后通过算法最后完成标定。

3.运用sift算法对图像进行特征点数检测以及匹配

sift算法是一种基于尺度空间的对图像缩放、旋转甚至仿射变换保持不变性的图像局部特征描述算法^[6]。

Sift算法一般分为4步^[7]：

（1）尺度空间极值检测：搜索所有尺度上的图像位置，通过高斯微分函数来识别潜在的对于尺度和旋转不变的兴趣点。

（2）关键点定位：在每个候选的位置上，通过一个拟合精细的模型来确定位置和尺；关键点的选择依据于它们的稳定性。

（3）方向确定：基于图像局部的梯度方向，分别给每个关键点位置一个或多个方向；所有后面的对图像数据的操作都相对于关键点的方向、尺度和位置进行变换，从而提供对于折现变换的不变性。

（4）关键点描述：在每个关键点周围的领域内，在选定的尺度上测量局部的梯度。

在前面三步就已经检测出了图像的特征点，最后就可以采用关键点特征向量的欧式距离来做两幅图像中关键点的相似性判定度量^[8]。至此完成特征点检测和匹配。

4.提取和采集双目目标区域的图像深度信息

通过前面sift算法，已经对双目图像对进行了特征点检测，也进行了特征点的匹配，然后找出两幅图像间的同名点。根据世界坐标系和计算机图像坐标系之间的关系^[9]，以及己经标定好的摄像机的内参数和外参数，最后计算得出障碍物目标的深度信息。

5.原理框图

图1 双目视觉系统框图^[10]

3. 研究计划与安排

第 1-4 周：查阅相关文献资料，明确研究内容，准备相关资料和技术条件。确定方案，完成开题报告。

第 4-6 周：整理相关资料并进行设计。

第 7-12 周：撰写论文并送导师审阅。

4. 参考文献（12篇以上）

[1]chessa,m;solari,f.acomputationalmodelfortheneuralrepresentationandestimationofthebinocularvectordisparityfromconvergentstereoimagepairs.international joumal of neural systems.2019.19.(4):1850092-11—1850092-16.

[2] antonio sgorbissa;renato zaccaria. planning and obstacle avoidance in mobile robotics[j].robotics and autonomous systems,2012,vol.60,no.4.

[3] dr. humberto martinez-barbera;dr. david herrero-perez.development of a flexible agv for flexible manufacturing systems[j].industrial robot,2010,vol.37,no.5.