增强现实几何一致性相关问题研究

【摘要】增强现实技术是一种虚实融合技术。基于视频的增强现实技术通过将虚拟物体或辅助信息叠加到现实场景的影像中而扩展人类对现实环境的视觉感知。为实现具有照片品质的虚实融合效果,增强现实技术需要所嵌入的虚拟场景与现实环境在几何、光照等属性上保持一致。其中,几何一致性要求虚拟物体按照正确的空间位置、透视投影和虚实遮挡关系实时渲染到真实场景的视频影像中,是保证真实感效果的基本因素。增强现实系统中的几何一致性问题包含场景几何重建、摄像机跟踪和虚实遮挡等众多子问题,各子问题之间又相互交织。例如,摄像机跟踪算法可以使用到场景几何重建的信息,而场景的几何重建问题又可在摄像机跟踪过程中并行完成。因此,高效的几何一致性算法往往是这些子算法的有机组合。增强现实算法中摄像机定标的失败可导致虚拟物体在视频影像中的漂移、抖动等现象,而由于人眼对运动物体的敏感性,这类虚假效果极易被用户察觉,因此鲁棒性是几何一致性算法的重要考量因素。增强现实系统是实时在线的系统,视频图像处理、设备参数求解和虚拟物体渲染等操作都需要在线完成,因此对算法的实时性要求极高。传统增强现实系统为保证系统的实时性使用了简化的模型去描述现实场景,这类方法可以尽可能降低算法的时间复杂度,在有限的计算资源下保持系统的实时性。但其缺点也非常明显,简化的模型和受控的场景限制了系统的应用条件,并使系统丧失了处理复杂环境信息的能力。使用复杂的几何一致性算法可提高系统的灵活性和可用性,但也会增加系统时延、降低系统实时性。因此,优秀的几何一致性算法通常需要在算法的鲁棒性、灵活性和实时性之间进行有效折衷。本文对几何一致性问题中的特征点匹配、摄像机实时跟踪算法和场景深度数据优化等问题的国内外研究现状进行了充分调研和论述,并针对这些问题提出了新的解决方案。本文的主要研究内容和创新点如下：1.提出基于GPU的图像特征点快速跟踪匹配技术。图像的特征点可用于场景的三维重建和摄像机的实时跟踪。但常见的KLT等特征点跟踪算法涉及到大量的图像处理和浮点运算,算法的时间复杂度较高,不利于实时的增强现实应用。本文总结了特征点跟踪匹配算法在像素和特征点两个层次上的并行性,利用GPU并行运算技术对KLT算法进行加速,将算法效率提高200到300倍,极大减小了算法时耗。2.提出基于混合特征点的摄像机实时跟踪算法。基于特征点匹配的摄像机跟踪算法具有更高的灵活性,对场景内容的限制较低,可以极大提升系统可用性。但可选的特征点跟踪算法在稳定性和效率上各有优劣,本文对SIFT和KLT等特征点匹配算法的性能进行了比较,利用实时视频流的时间连续性提出了SIFT和KLT的混合特征点跟踪策略,在保证算法精度的同时将相邻帧的摄像机跟踪时耗控制在15ms以下,在鲁棒性和实时性之间维持了有效平衡。3.提出基于颜色和深度一致性的深度图增强算法。近年来Kinect等廉价深度传感器的发展为场景数据获取提供了快速简便的途径,但受硬件成本和精度所限,这类设备采集的深度图受噪声和数据缺失的困扰。本文提出了基于颜色和深度一致性的深度图增强算法,利用原始深度图的置信度估计结果以及彩色图像的颜色、边缘和分割结果为线索对深度图进行优化求解,可有效降低深度图噪声并对数据缺损区域进行修复。4.提出并实现了视觉遥在和增强现实系统。在以上工作的基础上,本文构建了基于视觉的遥在和增强现实原型系统,该系统是遥在技术与增强现实技术的结果,并使用了本文相关章节的算法做支撑,其稳定性和实时性都非常高,且相比于传统遥在系统而言对硬件要求更低。这些原型系统的优异表现也反向印证了本文上述工作的有效性。
【作者】王延可；
【导师】秦学英；
【作者基本信息】山东大学，数字媒体技术和艺术，2014，博士
【关键词】增强现实；特征点实时跟踪；摄像机实时跟踪；深度图增强；遥在系统；

【参考文献】
[1]曾国庆.抑制PLC-γ1能促进人骨性关节炎软骨细胞外基质的合成[D].福建医科大学,外科学（专业学位）,2014,硕士.
[2]彭志勇.建行湖南省分行信贷风险控制研究[D].湖南大学,MBA,2010,硕士.
[3]易琼.小鼠乳腺上皮细胞的体外培养及其天然免疫功能的探究[D].贵州大学,基础兽医学,2014,硕士.
[4]叶鹏.基于粗糙集的中国财险企业风险评价[D].天津财经大学,统计学,2012,硕士.
[5]徐聪.某被动雷达测控台的研制[D].哈尔滨工业大学,仪器科学与技术,2013,硕士.
[6]张跟朋.新农村建设背景下小型农田水利建设的现状和对策[D].山东农业大学,农村区域与发展（专业学位）,2013,硕士.
[7]韩涛.用TM资料对祁连山部分地区进行针叶林、灌木林分类研究[J].遥感技术与应用,2002,06:317-321.
[8]师浩斌.雷达信号杂波抑制方法的研究及其实现[D].西安科技大学,信号与信息处理,2014,硕士.
[9]王欣.电信客户经理胜任特征模型的构建、验证与现状调查研究[D].辽宁师范大学,应用心理学,2011,硕士.
[10]陈劲松.论传统知识的国际法保护[D].天津财经大学,国际法学,2012,硕士.
[11]罗双双.扬州市县域经济发展差异的变迁规律研究[D].扬州大学,区域经济学,2011,硕士.
[12]卢文林.信息检索技术发展概况[J].农业图书情报学刊,2003,03:5-8+16.
[13]王婧超.衰老肾小管上皮细胞旁分泌TGF-β1促进上皮间充质转分化[D].河北医科大学,内科学,2013,硕士.
[14]唐淑玲.“微时代”背景下大学生思想政治教育载体应用研究[D].重庆工商大学,思想政治教育,2014,硕士.
[15]张小兰.英国大学内部治理理念与实践研究[D].安徽大学,高等教育学,2014,硕士.
[16]牛八斗.建筑教育中建筑系馆空间设计之走向及意义[D].河北工程大学,建筑技术科学,2012,硕士.
[17]邓大庆,朱益波,王立梅,朱颖越,齐斌.基于氧化型石墨烯、DNA相互作用的荧光淬灭传感器高选择性检测农产品中的Hg~(2+)[A].中国食品科学技术学会.科技与产业对接——CIFST-中国食品科学技术学会第十届年会暨第七届中美食品业高层论坛论文摘要集[C].中国食品科学技术学会:,2013:2.
[18]常芳.潮州刺绣艺术及其在礼服设计中的应用研究[D].广东工业大学,服装与纺织品设计,2013,硕士.
[19]赵军强.人工腱膜材料组织相容性的初步研究[D].青岛大学,骨科学,2003,硕士.
[20]季洪鹏.具象油画艺术中关于光影因素的探索和研究[D].北京服装学院,美术学,2012,硕士.
[21]王冬丽a,b,周彦a.基于图变换的图像压缩采样与分类[J].控制与决策.
[22]李婕.抗拷贝攻击数字水印算法研究[D].西安建筑科技大学,信号与信息处理,2013,硕士.
[23]李慧.SAP系统环境下的内部控制研究[D].山东财经大学,会计（专业学位）,2013,硕士.
[24]薛娟斓.德国功能翻译理论视角下政治外宣英译研究—以2011《中国的和平发展》（白皮书）为例[D].西安外国语大学,外国语言学及应用语言学,2013,硕士.
[25]杜瑞环.动力分布式变频输配管网的节能分析[D].河北工程大学,供热、供燃气、通风及空调工程,2012,硕士.
[26]章志祥.四旋翼机器人飞行测试及自适应动态逆方法研究[D].北方工业大学,控制理论与控制工程,2014,硕士.
[27]平昭琪.基于DSP的无刷直流电机控制系统设计[D].长安大学,机械电子工程,2014,硕士.
[28]冯文静.普通高中历史课堂任务驱动教学模式研究与实践[D].渤海大学,学科教学（专业学位）,2014,硕士.
[29]郑绪伟.右室不同部位起搏治疗缓慢性心律失常的随访研究[D].郑州大学,内科学,2013,硕士.
[30]龙欢.农杆菌介导的二穗短柄草遗传转化体系的建立与优化[D].南京农业大学,作物学,2013,硕士.
[31]祁治,张晓龙.Apriori_Q:关联规则的有效求解[J].武汉科技大学学报(自然科学版),2005,04:399-402.
[32]曾伟贤.清热凉血方中芍药苷、丹皮酚的含量测定[D].北京中医药大学,中医学,2014,硕士.
[33]龚方华.Peroxiredoxin1在鞭毛/纤毛解聚及食管癌发生发展中的作用[D].郑州大学,肿瘤学,2014,博士.
[34]王永珍.峨眉树蛙和斑腿树蛙MHCⅠ类基因的多态性及其进化[D].华中师范大学,动物学,2012,硕士.
[35]孙鹏.基于Android平台害虫识别系统的设计[D].西南交通大学,软件工程,2014,硕士.
[36]李佳,林燕,李准洁,李正,梁勇.C_(60)/Cu~(2+)影响质粒DNA构象的复合效应研究[J].江汉大学学报(自然科学版),2012,05:80-84.
[37]王仁勇.肾透明细胞癌von Hippel-Lindau(VHL)蛋白调控HIF-1αmRNA表达的分子机制[D].南昌大学,外科学,2014,硕士.
[38]杨超.鄂尔多斯盆地奥陶系储层测井评价方法研究[D].长安大学,地质工程（专业学位）,2013,硕士.
[39]张艳.热熔釜感应加热控制系统设计与效率分析[D].西安工业大学,机械电子工程,2014,硕士.
[40]段腾飞.开口谐振环在微带天线阵互耦抑制中的应用研究[D].南京航空航天大学,电磁场与微波技术,2012,硕士.
[41]尹雪莲.带环与粘结型颊面管对龈沟液中IL-1β和OSM影响的比较研究[D].河北医科大学,口腔临床医学,2013,硕士.
[42]徐特艺.益阳工艺美术大学领导干部综合考评系统的设计与实现[D].山东大学,软件工程（专业学位）,2013,硕士.
[43]代俊宁.滹沱河冲洪积扇地下水回灌研究[D].中国地质大学（北京）,地质工程,2014,硕士.
[44]易建华,彭新辉,邓小华,周清明,蒲文宣,周冀衡.气候和土壤及其互作对湖南烤烟还原糖、烟碱和总氮含量的影响[J].生态学报,2010,16:4467-4475.
[45]杨亚松.同单调风险及相关问题研究[D].华东师范大学,概率论与数理统计,2004,硕士.
[46]帅细强.湖南双季早稻产量集成预报方法研究[D].湖南大学,软件工程,2013,硕士.
[47]刘海波.东营临港物流园区项目风险评价研究[D].中南林业科技大学,林业工程,2014,硕士.
[48]陈宏君,刘克金,冯亚东,张磊,周磊,熊蕙.新一代保护测控装置配套工具软件设计与应用[J].电力系统自动化,2013,20:92-96.
[49]聂林才.混合溶剂热法制备草酸钴锂离子电池负极材料[D].上海大学,材料学,2014,硕士.
[50]董国明.地球物理方法在矿山水文地质调查中的应用研究[D].吉林大学,地质工程,2013,硕士.