基于双目视觉的三维重建系统设计与实现开题报告

1. 研究目的与意义（文献综述）

双目立体视觉是仿真生物视觉系统的原理，是计算机视觉的一种重要形式；它是基于视差原理并利用成像设备从不同的位置获取被测物体的两幅图像，通过计算左右图像对应点间的位置偏差，来获取物体三维几何信息的方法。该项技术在机器人视觉、无人驾驶、工业检测、多自由度机械装置控制和无人机避障等领域具有很大的应用价值。

随着智能化时代的到来，计算机视觉的应用越来越受到各行业的关注，涉及的范围不断扩大。三维重建一直是计算机视觉的重要研究领域之一，不断发展的三维重建技术拥有十分广阔的应用前景。真实物体及场景的模型数据，在文物保护、医疗研究、工业制造、测绘以及虚拟现实等领域有着重要的作用。由于三维重建的方法可以依据不同的理论基础，三维深度信息测量方法又有接触式和非接触式之分，因此各种重建技术在精度、尺寸、操作灵活性以及系统价位等方面存在一定的差异，适用的应用领域也不尽相同。基于双目视觉的方法对二维图像来重建三维信息，只需要在场景的自然光条件下进行，这样就具有了适应性强、实现手段灵活、造价低的优点，是目前研究最多、应用最广泛的技术之一。

国内外研究现状分析：

2. 研究的基本内容与方案

本设计根据双目视觉原理，对基于双目视觉的三维重建这个过程当中涉及到的相机标定、图像校正、特征检测、立体匹配等重要技术进行研究。并通过双目立体视觉平台获取两个不同视角的图像信息，构建三维重建系统来得到视差和深度信息进而获取图像物体的三维空间点坐标及其相关信息。基本的基于双目视觉的三维重建系统如图1所示。

双目图像的获取可以通过双目摄像头拍摄得到，本设计是对同一场景的两幅图像的处理，立体视觉原理分析采用双目光轴平行模型则需要注意两个摄像头是否处于同一水平面上。从摄像机获取的图像信息出发计算三维空间中物体的几何信息，并由此进行三维重建，而空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系是由摄像机成像的几何模型决定的。这些几何模型参数的实验和计算过程就是摄像机标定，可以选取适当的标定方法并通过matlab来实现并得到相机的内部参数和外部参数。进而通过相机参数对存在畸变或者非共面行对准的两幅图像进行校正。图像校正过后可与选择适当的匹配算法进行立体匹配，主要是确定两幅图像的匹配像点的相对位置，并计算视差。其中比较分析基于特征的立体匹配算法和基于区域的立体匹配算法，拟针对图像harris角点、边缘及sift特征点等进行检测，对比分析采用最近邻距离比(nndr)和归一化互相关(ncc)策略确定匹配点对；并尝试用随机抽样一致算法(ransac)去除误匹配点对。为了实现可靠、快速匹配，找出唯一的对应关系，常需要利用一致性、唯一性等约束条件。而获取图像的稠密视差图则需要基于区域来匹配，计算匹配代价并通过局部或全局匹配算法来得到视差值。通过视差得到深度信息之后结合相机参数就可以进行三维空间点重建，本设计主要是通过编程来实现图像中物品的三维坐标的恢复。

3. 研究计划与安排

第1-3周：查阅相关文献资料，明确研究内容，了解双目视觉理论基础。确定技术方案，完成开题报告。

第4-5周：熟悉掌握基本理论，完成英文资料的翻译，熟悉开发环境。

第6-10周：搭建双目立体视觉平台，完成相机标定，编程实现各算法，并进行仿真调试。

4. 参考文献（12篇以上）

[1]袁利杰.基于双目立体图像目标区域的三维重建[d].郑州大学,2018

[2]王珊，徐晓.基于双目单视面的三维重建[j].光学学报,2017,第37卷(5):207-215

[3]muhammad sajid khan;zabeeh ullah;maria shahid butt.thephotometric stereo approach and the visualization of 3d facereconstruction[j].international journal of advanced computer science andapplications,2019,vol.10(2): 5