1. 研究目的与意义（文献综述）
1.1 研究目的及意义
手势是一种具有特定意义的肢体语言，主要通过手掌中心和手指的位置形状传达。手势是非语音交流的通信媒介，无论是否有口头交流，都是为了表达有意义的信息。这些手势可以与身体任何部位或其中多个的组合来表达。由于手势具有文化多样性与独特性，不同的手势在不同的地理位置有不同的含义。例如，指向伸出的手指是美国和欧洲的常见手势，但它在亚洲被视为一种粗鲁和冒犯的姿态。从理论上讲，手势由静态手势和动态手势组成。顾名思义，静态手势指的是手的个体形状，被定义为在没有任何移动的一段时间内的手的方向和位置。动态手势由一系列手部动作组成，包括涉及身体部位的手势，例如手挥动，而静态手势只包括单个手形并且没有运动，例如卡住拇指和食指以形成"ok" 符号。随着触摸屏技术的不断推广，用户已经适应并逐渐熟悉了与机器的互动。现在，人机互动技术已迈上了更高的台阶，进入了手势识别时代，不过这也并不是一帆风顺的。手势识别现已在娱乐及游戏市场出现，然而这种技术将对我们的日常生活产生怎样的影响呢?不妨假想一下，有人坐在沙发上，只需一挥手就能操控灯光和电视，或者汽车自动检测附近是否有行人。随着手势识别技术支持人机互动的不断深入发展，这些及其它功能将很快得以实现。手势识别技术长期以来一直采用 2d 视觉进行研究，但随着 3d 传感器技术的出现，其应用将日益广泛并多样化。近年来，增强现实与虚拟现实的应用已经在各种平台上飞速发展。实时手势识别提供了鼠标等交互方式无法提供的自然交互特性，随着硬件与图像处理算法的进步，实时手势识别成为可能。虽然目前基于传感设备和深度图像的手势识别和手势估计研究己经取得了不错的进展，但在应用上受到了 限制，一是获取数据比较麻烦；二是设备比较昂贵。在应用上，人们还是希望能通过一张彩色图像就能得到手部的姿态，所以基于彩色图像的手势姿态估计有着非常广阔的应用前景。但目前的研究还面临着许多问题，由于手的运动比较灵活存在多个自由度和多种手势，其次面对复杂的背景环境和快速的手势运动，也给姿态的估计带来了诸多困难
2. 研究的基本内容与方案
本文提出了一种无需任何特殊设备即可从单色图像中学习完整3D手势估计的方法。利用深层网络从数据中学习合理的先验的能力，以解决歧义。总体方法是由三个深层网络组成，这些网络包含了直至到达3D姿势重要的子任务。第一层网络提供手分割以将手定位在图像中，根据其输出，第二层网络在2D图像中定位手形点，第三网络最终从2D关键点推导了3D手势。 特别是，本文引入了典型的姿势表示法来使该学习任务可行。与人体水平的3D姿势估计相比，另一个困难是数据的可用性受到限制。尽管人体姿势估计可以利用多个运动捕捉数据库，但几乎没有用于手的此类数据，要训练网络，需要具有ground truth 3D关键点的大型数据集，为了减小工作量，本文直接引用Zimmermann创建的一个具有各种数据增强选项的合成数据集[1]。
3. 研究计划与安排
第1－3周：查阅相关文献资料，明确研究内容，了解研究所需理论基础。确定方案，完成开题报告。
第4－5周：熟悉掌握基本理论，完成英文资料的翻译，熟悉开发环境。
第6－9周：编程实现各算法，并进行仿真调试。
4. 参考文献（12篇以上）
[1] c. zimmermann and t. brox, "learning toestimate 3d hand pose from single rgb images," in 2017, . doi:10.1109/iccv.2017.525.
[2] markus oberweger, vincent lepetit,"deepprior : improving fast and accurate 3d hand poseestimation",computer vision workshop (iccvw) 2017 ieee internationalconference on, pp. 585-594, 2017.
[3] zhenyuan zhang, zengshan tian, mu zhou,"latern: dynamic continuous hand gesture recognition using fmcw radarsensor", sensors journal ieee, vol. 18, no. 8, pp. 3278-3289, 2018.
