基于表观建模的中国手语识别技术研究

【摘要】研究中国手语的识别技术,就是为了把聋人使用的手语通过计算机自动、高效地完成机器翻译,从而实现手语与自然语音的无障碍交流。这种方式便于聋人融入社会,有利于他们与周围环境的交流,为其提供更好的服务。同时,手语识别在其他应用领域,也有着深远的研究意义。基于计算机视觉的手语识别作为一种自然、直观的交互方式,无需附加的物理设备作为输入,在人机交互过程研究中占很大比重,能够广泛地应用于多学科领域。作为一个非常有意义的研究课题,手语识别的研究,不仅有助于改善、提高聋人的生活、学习和工作环境,也能够提高计算机对人类自然语言的理解水平,发展成为一种能够付诸应用的最自然的人机交互方式。本文从自然交互方式的角度出发,研究了基于机器视觉的手语手势跟踪、手势分割提取、手语表观建模、SVM核函数构建算法及中国手指语字母的识别。具体研究工作包括以下几个方面：(1)根据Kinect同步拍摄深度视频信息的特点,使用手语视频中的深度图像信息对CamShift加以改进,提出了一种在复杂场景下跟踪能力更强、抗干扰性能更好的,适于手语识别应用的DI_CamShift(DepthImageCamShift)算法。采用基于深度图像信息的跟踪算法在手语视频中确定手势区域,对手语手势进行定位跟踪。在手势提取方面,通过计算手势深度图像确定手势的主轴方向,提出了一种基于深度图像信息的椭圆边界肤色建模方法。(2)在复杂背景下的手势提取过程中,结合椭圆边界肤色模型,得出新的基于深度积分图像的二维OTSU算法,并将积分图和粒子群结合用于二维OTSU算法,提出了基于深度积分图和粒子群优化的OTSU算法提取手势图像。(3)在手语表观建模时,为了使其各种视觉特征均可以被描述的更为准确,同时提取了SURF特征,Gabor小波纹理特征和颜色直方图特征,作为手势表观特征的完备特征集。在解决手势图像局部特征点个数不同的问题时,本文提出使用BoW(BagofWords)方法,把提取出的手语完备特征集量化生成手语视觉单词(SignLanguageVisualWord)。对提取到的手势特征,采用K-Means聚类算法,生成手语SURF词包、Gabor词包和颜色直方图词包,最后把所有词包经过CCA融合后的结果作为手语的特征。(4)研究了SVM及核函数理论,通过提取相同的手势特征对单核SVM分类器进行训练,比对研究不同核函数SVM在手语识别中的效果。提出构建一种新的适于手语识别的核函数H_Kernel,并证明了H_Kernel满足Mercer条件,可以作为用于手语识别的SVM核函数。鉴于手语BoW模型并未考虑语义信息,所以本文提出构建基于HKernel和BoW语义核的混合核函数SVM进行训练学习及手语识别。
【作者】杨全；
【导师】彭进业；
【作者基本信息】西北大学，计算机软件与理论，2013，博士
【关键词】表观建模；手语识别；Kinect；深度图像；特征融合；

【参考文献】
[1]朱永康.全球石墨烯市场高速增长[N].中国化工报,2013-09-03004.
[2]潘延军.基于浏览内容研究的一种改进的聚类算法[J].中国科技信息,2005,14:54-55.
[3]魏然红.Cauchy-三次函数方程的Hyers-Ulam稳定性[D].青岛大学,基础数学,2013,硕士.
[4]沈剑贤,沈炯,李益国,周彬华.人工免疫系统原理及其应用[J].汽轮机技术,2005,04:248-257.
[5]覃添.三维传感器网络节点定位方法研究[D].杭州电子科技大学,控制工程,2012,硕士.
[6]余俊杰.家蚕滞育和化性相关基因的定位和遗传分析[D].江苏科技大学,生物化学与分子生物学,2014,硕士.
[7]王鹏.列控中心数据通信及安全性研究[D].西南交通大学,通信与信息系统,2014,硕士.
[8]闫娜.学生道德选择能力培养研究[D].河北师范大学,思想政治教育,2013,硕士.
[9]刘文聪.株洲市中华仁家居住小区景观设计[D].中南林业科技大学,风景园林（专业学位）,2014,硕士.
[10]熊曾刚,张学敏,陈建新.关于数据库技术研究及发展现状的探讨[J].工矿自动化,2004,01:17-19.
[11]董方白.数字加工任务中听觉信息的干扰对启动的影响[D].苏州大学,应用心理学（专业学位）,2013,硕士.
[12]刘龙梅.对美国英语恭维语及应答的性别差异研究[D].上海外国语大学,英语语言文学,2012,硕士.
[13]靳宇.10kV-SF_6户外环网柜多参量检测系统研究[D].华侨大学,机械电子工程,2013,硕士.
[14]王小枫.日本新一轮量化宽松货币政策研究[D].中国社会科学院研究生院,金融学,2014,硕士.
[15]綦琪.论我国个人收入分配体系的完善[D].东北大学,马克思主义中国化研究,2009,硕士.
[16]孙玉芬.基于模糊PID的汽轮机DEH系统研究[D].西安科技大学,检测技术与自动化装置,2013,硕士.
[17]黄林东.金融生态环境的“资金洼地”效应及其对资本配置效率的影响[D].浙江工商大学,金融学,2012,硕士.
[18]何小勤.长江口崇明东滩现代地貌过程研究[D].华东师范大学,自然地理,2004,硕士.
[19]郭伟.船舶位置控制平台船舶层控制器的设计[D].大连海事大学,控制理论与控制工程,2013,硕士.
[20]骆永聪.中学英语词汇教与学的策略探讨[D].福建师范大学,教育,2003,硕士.
[21]江晖.国脉科技办公自动化设计[D].哈尔滨工程大学,2005.
[22]姚德正.利用早期推定强度控制混凝土质量的方法和效益[J].建筑技术.1998(01)
[23]刘建娥.湖南省特殊教育学校发展研究[D].湖南师范大学,教育（专业学位）,2013,硕士.
[24]李晶晶.财务信息透明度、公司治理对公司绩效影响研究[D].浙江理工大学,企业管理,2014,硕士.
[25]田野.动态测试中传感器优化配置的研究及实现[D].华中科技大学,机械设计及理论,2013,硕士.
[26]孙桂英.茄子抗黄萎病突变体再生植株诱导及抗病性鉴定[D].内蒙古农业大学,蔬菜学,2004,硕士.
[27]丁勤亮.建国初期的司法改革运动研究[D].安徽大学,历史学,2013,硕士.
[28]赵佳.陆地棉亚红株（Rs）候选基因的克隆和功能分析[D].西南大学,生物化学与分子生物学,2014,硕士.
[29]张勇.百胜餐饮中国事业部哈尔滨物流中心营运策略研究[D].吉林大学,工商管理,2013,硕士.
[30]朱渊渤.永磁同步电机伺服控制系统的研究与开发[D].江南大学,检测技术与自动化装置,2012,硕士.
[31]张超.艺术节的品牌沟通[D].上海大学,传播学,2013,硕士.
[32]吴小进.光伏阵列及并网逆变器关键技术研究[D].北京交通大学,2012.
[33]郭志勇,顾保南,冯黎.柏林市亚历山大广场枢纽站剖析[J].城市轨道交通研究.2007(06)
[34]刘佳.中国资本市场发展与资本市场的有效性研究[D].湖北大学,会计学,2011,硕士.
[35]董斐然.基于互动多媒体技术的装置艺术的设计与实现[D].上海交通大学,软件工程,2013,硕士.
[36]郭灵霞.全胸腔镜与开胸手术对心脏病患者生活质量一般自我效能及自我接纳感对比及影响因素研究[D].山东大学,护理学,2013,硕士.
[37]金丹.F公司V品牌二手车营销策略研究[D].吉林大学,工商管理,2012,硕士.
[38]王丹.长白山垂直样带森林土壤碳矿化及其温度敏感性研究[D].西南大学,自然地理,2014,硕士.
[39]常静.城市中心区人工地貌垂直发育模式研究——以大连市为例[D].辽宁师范大学,2004.
[40]李洁.深圳航空物流园区发展战略研究[D].武汉理工大学,交通运输工程,2003,硕士.
[41]金鑫.智能化方法在民用客机巡航构型气动优化中的应用[D].复旦大学,飞行器设计,2012,硕士.
[42]周茜.论我国上市公司虚假信息披露的法律规制[D].华中科技大学,法律,2013,硕士.
[43]王彩娟.TurboFlow在线固相萃取—液质联用全自动技术在药物残留检测中的应用研究[D].郑州大学,分析化学,2013,硕士.
[44]任玲宇.二十世纪初外国题材中国戏剧研究[D].山西师范大学,戏剧戏曲学,2014,硕士.
[45]王雨婷.混杂中寻求“第三空间”[D].首都师范大学,外国语言学及应用语言学,2013,硕士.
[46]张微.基于ISO9000的汽车行业质量管理信息系统研究[D].天津大学,工商管理,2004,硕士.
[47]徐佳琛.石家庄地区0-14岁儿童夏季维生素D营养状况研究[D].河北医科大学,儿科学,2013,硕士.
[48]方莉.算子的k-数值域和正交投影算子对[D].陕西师范大学,基础数学,2004,硕士.
[49]杜文婷.高中生英语学习自我效能感与学习者自主相关性研究[D].山东师范大学,教育（专业学位）,2013,硕士.
[50]肖照林,王庆,杨恒,周果清.基于随机遮挡孔径的光场图像混叠检测方法[J].自动化学报,2014,02:247-254.