基于深度学习的单图像3D场景重建文献综述

1. 文献综述（或调研报告）：

3.1主题

截至目前，基于图像的3D重建方法已经取得了较多的研究成果。概括起来可以分为三大类：

1）根据RGB图像集合进行场景重建

根据多视点几何，理想情况下3D结构可以通过充足的2D图像通过匹配实现重建。SfM[1] （structure from motion，运动恢复结构）是一种基于各种收集到的无序图像集进行三维重建的离线算法，现在已成功应用于地表街景、文化遗产建筑的重建中；SLAM[2]（Simultaneous localization and mapping， 同步定位与地图构建）从固定摄像机配置获取的有序图像序列实时重建与定位。这一领域的应用主要集中在机器人对未知环境的探索与导航中；方法取得了更好的效果，但是它们在初期准备时繁重的相机标定工作、算法中大量的复杂运算和技巧以至于难以实时重建，都限制了它们在日常生活中活动场景下的应用范围；

2）根据单张RGB图像进行场景重建

这一问题本身具有不适定性（ill-posed，病态问题）。早期工作如Shape from texture[3]， shape from shading information[4]都对对象形态、环境因素提出了大量的假定。数据驱动的学习方法在此前也仅仅被用于简单形状的恢复；

3） 根据 RGBD 图像进行场景重建

自从RGBD摄像头的问世以及Kinect Fusion[5]、Dynamic fusion[6]等算法提出，RGBD图像的数据集也逐渐增多，基于它们的学习方法也有很多，但是在重建的鲁棒性、形状的恢复质量上，这些工作仍然存在诸多问题；另外在硬件成本上，深度摄像头高于普通设备。