1. 研究目的与意义
手语是聋哑人使用的语言。它是由手形动作辅之以表情姿势而构成的比较稳定的表达系统,是一种靠动作视觉进行交际的特殊语言。手语识别的目的就是将聋哑人手语自动翻译成自然语言文本,并由计算机良好的界面显示出来,是智能人机接口的一个重要课题。手语识别不仅有助于聋哑人使用各种信息,而且可以帮助他们参加各项社会活动。手语的识别不但具有深远的研究意义,而且具有广阔的实际应用前景,至少表现在以下几个方面:(1)能够使得聋哑人,尤其是使得文化程度比较低的聋哑人,使用手语和正常人交流;(2)从认知科学的角度,研究人的视觉语言理解的机制,提高计算机对人类语言的理解水平;(3)利用手势控制智能体;(4)机器人的示范学习;(5)虚拟现实系统中的多模式接口等。
2. 国内外研究现状分析
国外在基于视觉的方法方面,具有代表性的研究成果包括:1991年富士通实验室完成了对46个手语符号的识别工作。Davis和Shah将戴上指间具有高亮标记的视觉手套的手势作为系统的输入,可识别7种手势。Starner等在对美国手语中带有词性的40个词汇随机组成短句子识别率达到99.2%。Grobel和Assam从视频录像中是取特征,采用HMM技术识别262个孤立词,正确率为91.3%。此外,Vogler与Metaxas将两种方法结合用于美国手语识别,交互采用一个位置跟踪器及三个互相垂直的摄像机作为手势输入设备,完成了53个孤立词的识别,识别率为89.9%[1]。
在我国,清华大学祝远新、徐光等给出了一种基于视觉的动态孤立手势识别技术,借助于图像运动的变阶参数模型和鲁棒回归分析,提出一种基于运动分割的图像运动估计方法。基于图像运动参数,构造了两种表现变化模型分别作为手势的表现特征,利用最大最小优化算法来创建手势参考模板,并利用基于模板的分类技术进行识别,对12种手势的识别率超过90%[1]。
3. 研究的基本内容与计划
设计内容:设计一个基于机器视觉的手语识别系统手势识别软件,作为未来人机交互额手段之一。在halcon平台上对图像进行处理,用手势二值图像对手势种类进行识别。根据形态学特征对手势进行识别。
计划:
(1)第1周第2周准备工作。
4. 研究创新点
本课题开发一套机器视觉系统实现采用用户打手势的方式作为向计算机发布指令的功能。
