基于Kinect的主动外观模型及在表情动画上的应用

【摘要】面部特征点定位和跟踪是计算机视觉领域非常活跃的研究方向,其成果被用于人脸识别、姿态分析、表情分析、表情传递、人机交互、心理认知等。并为扩展出的应用,如身份识别、网上聊天、视频压缩、特效影视创作、人机交互等提供输入。它的发展还带动了相关学科领域的发展,如医学图像分析等。但由于人脸表情的复杂性,面部特征点定位和跟踪问题仍未能得到完美解决,仍是本领域的研究热点。常用的面部特征点主要围绕眼、口、眉毛以及外轮廓,典型的如嘴角,这些特征点的位置可以通过分析图像提取。面部特征点的定位和跟踪,倘若单纯依靠二维RGB图像和二维模型,易受背景和光照姿态等变化的影响,所以现在的研究中越来越多的倾向于使用三维模型和深度信息。Kinect可以同时提供深度图像和RGB图像信息,为视频中进行面部特征的提取提供了新的工具。提取到面部特征点后,可以分析其表情信息,并传递到目标脸上。由于脸型的差异和表现出的表情各不相同,需要在视频中人脸的特征信息和目标脸的表情信息二者之间找到一种合适的映射关系。本文主要解决这两方面的问题,一是如何从视频中提取表情或者特征点信息,二是提取后如何驱动线条动画。以下列出本文所研究的问题：(1)从同时包含深度图像和二维图像的视频中准确提取面部特征点的位置,并进行跟踪。这一方面的研究又包含两部分内容,一部分为多视角下的,即头部转动情况下的面部特征点的定位问题,另一部分为位于面部边缘约束下的特征点定位问题。①基于Kinect的多视角主动外观模型面部特征点提取中,精度和鲁棒性是研究的关键。面部特征点的提取易受光照和姿态的影响,带来很大的匹配误差。而使用红外,从Kinect中获取的三维深度图像受光照的影响较小,引入的深度也可以增强姿态判断的准确性。由于附加的三维深度图像和二维图像是来自两个摄像头,在摄像头之间存在视角差异,其像素点也并非一一对应的,因此需要解决其对应关系,从而来获得各像素点的深度值。同时,初始化的优劣对主动外观模型的影响很大,在多视角下,头部姿态提取后如何初始化和选择匹配模型,是我们研究的问题之一。②基于边缘约束的AAM轮廓特征点定位传统的主动外观模型采用图像信息进行匹配,在复杂背景环境下,不仅初始化人脸位置比较困难,而且在匹配时容易受背景的影响。而采用深度摄像头后,从深度数据中,可以较为准确的找到物体的边缘。由此可以用其对位于边缘上的面部特征进行约束,提高其匹配精度。引入三维信息后如何对面部特征进行约束,也是本文研究的问题。(2)视频驱动面部线条动画面部线条动画是一门富有生命力的艺术形式,在从视频序列制作连续的动画时,需要研究如何从视频的人脸上尽可能简便地提取表特征参数,并用其驱动线条动画。本文的主要内容和贡献体现在如下几点：(1)为解决深度相机下主动外观模型的初始化及头部视角变化问题,提出了一种深度相机下多视角主动外观模型的初始化和视角模型选择方法,提高了算法的准确性。本文将主动外观模型方法进行扩展,提出了一种同时利用深度图像和彩色图像的人脸特征点定位方法。在采样不同视角的图像,训练得到不同视角的AAM模型的基础上,提出了一个基于人脸深度图像和特征点建立人脸三维网格模型的方法,并利用三维网格模型对不同视角下的人脸进行AAM初始化和多视角模型的选择方法,提高了多视角下AAM定位的精度和鲁棒性。(2)针对面部特征点定位时,轮廓边缘特征点定位精度较低的问题,提出一种利用深度图像对边缘特征点进行约束的方法,可以有效的提高边缘特征点的匹配精度。本文提出的算法中提取脸部轮廓边界作为约束加入AAM能量函数中进行迭代,从而使其更接近实际轮廓。实验表明算法可以有效提高轮廓特征点的定位精度。不过由于在优化时更多的考虑边界上的点,而形变是对全局进行的,在改变匹配系数适应约束点时,内部其他点的位置会发生变化,略微降低了其他特征点的精度。(3)针对视频序列驱动线条动画的问题,提出一种利用AAM匹配过程提取的形状参数驱动线条动画的方法,并设计了应用工具实现输出全过程。线条模型由固定的背景和带宽度的Bezier曲线表示的眼睛、眉毛和嘴唇构成。输入的视频通过AAM提取当前面部特征点的位置,并分解成特定用户的基础表情组合,然后使用该组合的系数驱动线条动画模型的曲线控制点位置以生成动画。该方法易于实现,表情的基本参数较少,方便传输和存储。输出的视频能保持输入的表情变化,并可在本文提供的工具中进一步编辑。由于使用的是组合系数的方法,可以方便的扩展到其他模型上。
【作者】王庆祥；
【导师】屠长河；
【作者基本信息】山东大学，计算机软件与理论，2014，博士
【关键词】面部特征点定位；主动外观模型；视频表情传递；线条动画；Kinect；

【参考文献】
[1]武丽艳.英语名名复合词的认知语义阐释[D].山东财经大学,外国语言学及应用语言学,2013,硕士.
[2]严亚.碳纳米管基复合物的制备及其光催化和电催化性质研究[D].华东理工大学,2011.
[3]孙云,于德永,刘宇鹏,郝蕊芳.生态系统重大突变检测研究进展[J].植物生态学报,2013,11:1059-1070.
[4]叶琳琳.在校大中专学生目标取向、自我效能感与职业价值观关系的研究[D].华南师范大学,发展与教育心理学,2003,硕士.
[5]王海彤.危险化学品安全管理追溯系统[D].北京化工大学,控制工程（专业学位）,2013,硕士.
[6]李健.大断面黄土隧道初支作用机理及变形控制技术研究[D].北京交通大学,2012.
[7]刘益青,高厚磊,高伟聪.适用于数字化变电站的继电保护数据处理新方法[J].电力系统自动化,2011,15:68-72.
[8]唐亮.基于人工蜂群优化神经网络的刀具磨损状态监测系统研究[D].西南交通大学,测试计量技术及仪器,2014,硕士.
[9]史洋爽.中国社会转型期的公平正义问题研究[D].郑州大学,科学社会主义与国际共产主义运动,2013,硕士.
[10]郑载儒.认知隐喻视野下的汉韩惯用语对比研究[D].山东大学,对外汉语,2013,硕士.
[11]陈煜宇.农业产业化中的政策性金融服务问题研究[D].山东大学,项目管理（专业学位）,2012,硕士.
[12]杜洪强.3D面皮的五官分区配准与点对应算法研究[D].西北大学,计算机应用技术,2014,硕士.
[13]许崇香.黑龙江省中早熟玉米淀粉和百粒重积累规律的研究[D].东北农业大学,种植,2003,硕士.
[14]邹立明.金融开放条件下我国商业银行利率风险管理研究[D].青岛大学,金融学,2004,硕士.
[15]王蕾.机器翻译研究的历史和现状分析[D].湖北工业大学,外国语言学及应用语言学,2013,硕士.
[16]宋志朋.面向雷达结构的人机工效分析技术研究[D].西安电子科技大学,机械制造及其自动化,2012,硕士.
[17]马波.我国高校图书馆全面质量管理体系构建研究[D].东北大学,行政管理,2010,硕士.
[18]陈林姣.PNPLA3基因多态性与HCV感染者肝纤维化程度及抗HCV疗效的相关性[D].吉林大学,内科学,2013,硕士.
[19]郝翠翠.Zn含量对Mg-9Al镁合金的组织研究[D].兰州理工大学,材料加工工程,2014,硕士.
[20]邱忠义.一种高精度板带材板形在线测量仪[J].冶金自动化,2014,03:62-67.
[21]商庆彬.船舶碰撞数值模拟研究[D].大连海事大学,船舶与海洋工程,2014,硕士.
[22]高著田.贵阳南编组站的改扩建设计[J].中国铁路.1993(05)
[23]王成杰.农杆菌介导小麦非组培转化方法的探讨[D].中国农业大学,植物病理学,2004,硕士.
[24]王璐.微小超高压冷气推进系统及其组件工作性能仿真研究[D].北京交通大学,2014.
[25]张盼盼.铒/镱共掺双包层光纤放大器的性能优化[D].西安电子科技大学,光通信,2012,硕士.
[26]杜志刚.个人信用评估与数据挖掘概述[J].华南金融电脑,2004,03:8-11.
[27]常玉.幼儿园幼儿同伴合作问题及对策调查研究[D].内蒙古师范大学,学前教育（专业学位）,2013,硕士.
[28]杨文锐.深圳华侨城集团品牌组合战略实施案例分析[D].兰州大学,工商管理（专业学位）,2013,硕士.
[29]陈汀峰.舰炮射击可靠性的评估方法[J].舰船科学技术.1993(01)
[30]邵万里.精密电磁力平衡传感器设计[D].湖南大学,控制科学与工程,2012,硕士.
[31]杨俊江.三个生长阶段斜带石斑鱼蛋白质、脂肪和碳水化合物需要量研究[D].广东海洋大学,水产养殖,2013,硕士.
[32]刘波.利用物理学史教育资源优化中学物理教学的研究[D].山东师范大学,课程与教学论,2013,硕士.
[33]周金群.参柏洗剂对防治混合痔术后并发症的临床研究[D].浙江中医药大学,中医外科学,2013,硕士.
[34]刘蕾,靳群,唐小我.考虑延迟交货风险的易逝品供应链回购契约研究[J].控制与决策,2012,10:1505-1509+1515.
[35]孙阁.华兹华斯诗学在中国[D].湖北民族学院,文艺学,2014,硕士.
[36]张国荣.浅析数据挖掘中的隐私保护[J].福建电脑,2005,11:49-50.
[37]冯蓝.烷基化石墨烯和石墨烯量子点的制备、表征及性能研究[D].厦门大学,2014.
[38]杨威威.2型糖尿病患者甲状腺激素与糖脂代谢的相关性分析[D].吉林大学,临床医学,2013,硕士.
[39]鲁国光,郑安犁.JBL插入式均速毕托管流量计[J].冶金自动化,1983,06:40-45.
[40]赵鹏飞.高新技术企业知识型员工知识管理能力与企业绩效的关系研究[D].华东交通大学,企业管理,2013,硕士.
[41]赵柠.运用PMO提升内部控制能力成熟度的研究[D].吉林大学,会计,2013,硕士.
[42]梅瑞江.中国社会养老金入市的体制性制约因素分析[D].河南大学,国民经济学,2004,硕士.
[43]雷香丽.大鼠骨髓间充质干细胞的体外培养及体内移植实验性研究[D].南方医科大学,内科学,2012,硕士.
[44]张森,余剑峰,俞琳,张杰.基于图论的飞机典型装配工艺数据挖掘方法[J].计算机工程与应用.
[45]张文倩.视频监控中人群密度估计研究[D].中北大学,通信与信息系统,2013,硕士.
[46]王卓然.我国A+H跨境双重上市公司业绩研究[D].天津财经大学,金融学,2012,硕士.
[47]方玉亮.NVST焦点探测[D].中国科学院研究生院（云南天文台）,天文技术与方法,2014,硕士.
[48]刘彦.基于智能语音处理引擎的分布式多语种服务平台设计与实现[D].华南理工大学,通信与信息系统,2014,硕士.
[49]王文元.项目管理文化建设与创新[D].山东建筑大学,管理科学与工程,2013,硕士.
[50]钟章平.虚拟教室系统的设计与实现[D].西安电子科技大学,计算机软件与理论,2012,硕士.