基于GPU-hadoop的海洋环境信息可视化并行计算框架研究与实现
【摘要】“海洋环境信息可视化”是海洋公益项目的重要课题之一(海洋环境信息可视化是指将原始的数据转换成可供用户直观分析的图像或图形,以可视的方式展现给用户)。近年来,伴随着科学计算技术和海洋观测技术的进步与发展,海洋环境信息的数据量呈爆炸式增长,对于大规模可视化的任务,单机计算机已经远远达不到要求。随着hadoop的日益发展,越来越多的项目开始使用hadoop作为并行计算平台。所以,将hadoop应用于大规模可视化计算,是解决以上问题的有效方案。高性能并行计算已经推广,作为新领域的并行计算,非常有利于巨大数据量的处理和计算,尤其是GPU的飞速成长,以及英伟达公司推出的CUDA应用越来越广泛,GPU受到了越来越多人的关注。和CPU相似,在GPU内部有很多核芯,这些核芯可以并行执行,由于GPU内显卡核芯数远远高于CPU,所以GPU的性能大大超过了CPU。在其他指标,如能量消耗、带宽等方面也有很大的优势。为了提高海洋环境信息可视化的计算效率和实时性,将GPU与hadoop进行强强联合,共同应用于可视化计算,已经成为了一个很好的解决途径。本文根据海洋公益项目对海洋环境信息可视化精度和计算效率的要求,研究了将GPU高效融入hadoop的可行方案,并设计出了GPU-Hadoop体系,并将可视化计算成功部署到该框架中。为了追求更高的加速比,本文对设计出的GPU-hadoop体系中的任务分配调度进行了相应的优化。本文完成的工作主要有:1、在分析hadoop特性和GPU优势的基础上,研究了将GPU合理结合hadoop的可行方案,并根据我们实验环境和可行性,提出了一套完整的将GPU结合hadoop的解决方法,该方法不仅对海洋环境信息可视化有效,对其他项目也有很强的适用性。2、在搭建的GPU-hadoop体系下,使用了数据动态处理器来对CPU传给GPU的数据进行拆分和组装,以此来提升GPU的计算效率;同时使用stream,达到了GPU和CPU的并行,很好的提高了框架的计算性能。3、将海洋环境信息可视化计算部署在搭建好的框架中,并达到了良好的效果,同时开发了海洋环境信息可视化平台来进行可视化的远程作业提交和展示功能。4、使用守护进程和基于GPU处理能力的优化方法,有效地提高了GPU-hadoop体系下的计算任务分配调度效率,从而使整体的计算能力得到很大的提升,基于GPU的流场可视化相比于CPU模式下的流场可视化的加速比可达到15倍。
【作者】张凯;
【导师】秦勃;
【作者基本信息】中国海洋大学,计算机软件与理论,2014,硕士
【关键词】hadoop;GPU;海洋环境信息可视化;MapReduce;
【参考文献】
[1]张松.青春歌舞杂技剧《海之梦》成功经验探究[D].天津音乐学院,艺术管理,2013,硕士.
[2]吴丹.从交际语言测试角度初探口译测试评估模型优化[D].上海外国语大学,英语语言文学,2012,硕士.
[3]王腾飞.基于电源完整性的去耦网络设计方法研究[D].复旦大学,电路与系统,2012,硕士.
[4]孙建明.10kV电力与信号电缆之间平行间距的研究[J].铁道通信信号.2008(04)
[5]何桂霞.绿色木霉的筛选及秸秆的二次组合发酵[D].甘肃农业大学,动物营养与饲料科学,2013,硕士.
[6]陈晓燕.添加剂对钛酸铝陶瓷性能影响的研究[D].东北大学,有色金属冶金,2010,硕士.
[7]孙骏.A公司基站天线研发项目管理研究[D].南京理工大学,项目管理,2012,硕士.
[8]周睿志.黑格尔法哲学中的“伦理”研究[D].北方工业大学,法学理论,2013,硕士.
[9]东光明.勘察设计企业成本核算方法体系研究[D].山东师范大学,工商管理(专业学位),2013,硕士.
[10]马灵燕.乡村空间资源化视角下的乡村规划设计探索[D].浙江大学,2012.
[11]钱晓东,王正欧.基于SOM网络的随机映射文本降维方法[J].计算机应用,2004,05:56-58+61.
[12]郑典亮.吹扫风机车传动系统的结构分析与优化[D].吉林大学,机械工程,2014,硕士.
[13]董伦法.新一轮汇改背景下的人民币汇率风险值测度[D].华侨大学,金融学,2013,硕士.
[14]徐壮.固溶时效处理对新型稀土铬钴铜合金组织及性能的影响[D].兰州理工大学,材料加工工程,2014,硕士.
[15]杨清.公众科技态度及其影响因素研究[D].华中农业大学,社会学,2014,硕士.
[16]温月男.中美博士后制度比较研究[D].东北大学,教育经济与管理,2010,硕士.
[17]张莉莉.三级甲等医院急诊科护士工作沉浸体验的研究[D].山西医科大学,护理学(专业学位),2013,硕士.
[18]王路云.基于经济学视角的西部地区基本公共服务均等化研究[D].重庆工商大学,区域经济学,2014,硕士.
[19]吕楠,史峥,罗凯升,耿臻.用于光刻系统仿真的多边形处理算法[J].传感器与微系统,2014,09:124-127.
[20]张南熙.中小企业板上市公司成长性及其影响因素研究[D].郑州大学,西方经济学,2013,硕士.
[21]赵秀娟.商业银行贷款信用风险度量及实证研究[D].河北工业大学,技术经济及管理,2004,硕士.
[22]施雄华,鞠平,张伟,于永军,祁晓笑,姚秀萍,孙宜谦,常喜强,陈谦.电动机综合负荷模型经过传输元件的折算公式[J].电力系统自动化,2008,17:35-39.
[23]刘秉政.现阶段我国高校管理信息化存在的问题及对策研究[D].华东理工大学,公共管理(专业学位),2013,硕士.
[24]郭立伟,高雷,李书昌,陈丹.生产工艺动态分析系统在冷连轧质量控制中的应用研究[J].冶金自动化,2013,04:44-48.
[25]李向义,张希明,何兴元,曾凡江,THOMASF.M.,FOETZKIA..绿洲前沿地区多枝柽柳水分关系的特征及灌溉的影响[J].植物生态学报,2004,05:644-650.
[26]杨梦婉.中国本土艺术理论的”和衡”观[J].民族艺术研究,2015,03:27-31.
[27]田庆美.转基因植物专利保护探究[D].烟台大学,法律,2014,硕士.
[28]王涛.粘弹介质交错网格有限差分数值模拟[D].中国海洋大学,2013.
[29]鞠晓媚.极谱分析法在涎磷蛋白和氧化石墨烯电化学检测中的应用[D].青岛科技大学,2013.
[30]梁策.我国统筹城乡就业的制度创新研究[D].东北师范大学,马克思主义中国化研究,2014,博士.
[31]常笑.英语中汉语借词的词汇化研究[D].山东师范大学,英语语言文学,2013,硕士.
[32]信延宁.游泳训练和/或高脂膳食对大鼠生长过程中脂肪细胞数目和体积的影响[D].河北师范大学,运动人体科学,2012,硕士.
[33]徐晴阳.从网页中精确提取链接上下文相关文本[D].吉林大学,2004.
[34]陶冶.玉米逆境诱导型基因启动子的克隆及功能分析[D].吉林大学,植物病理学,2013,硕士.
[35]赵磊,李曰兵,雷月葆,高增梁.含表面裂纹板的概率断裂力学分析[J].核技术,2013,04:179-184.
[36]王长友.马克思财富观的人本意蕴研究[D].西北师范大学,马克思主义哲学,2013,硕士.
[37]梁韬.基于Py-GC/MS的半纤维素热裂解机理研究[D].浙江大学,工程热物理,2013,硕士.
[38]李梅.脱合金化方法制备纳米多孔铜[D].济南大学,材料物理与化学,2012,硕士.
[39]孙文清.女性视角下的城市风景名胜区景观设计研究[D].中南林业科技大学,园林植物与观赏园艺,2013,硕士.
[40]梁庆标.乔伊斯的犹太意识与世界视野[D].苏州大学,比较文学与世界文学,2003,硕士.
[41]胡安建.基于3G网络的有限带宽下实时视频传输技术研究[D].重庆大学,计算机软件与理论,2014,硕士.
[42]陈怡君.贵州苗族蜡画纹饰在现代产品设计中的运用[D].重庆大学,设计学,2014,硕士.
[43]周崇.管道内预混可燃气体爆炸与抑爆的研究[D].大连理工大学,化工过程机械,2004,硕士.
[44]何春霞.基于数据包络分析的新疆建设用地利用效率研究[D].新疆大学,地理学,2013,硕士.
[45]庞彩菊.NaCl胁迫对肾叶打碗花(Calystegia soldanella)种子萌发及幼苗生理生化特性的影响[D].浙江海洋学院,海洋生物学,2014,硕士.
[46]裴咏红.数控机床可靠性增长实用技术[D].吉林大学,机械电子工程,2004,硕士.
[47]郑侃.混合储能在直流牵引供电系统中的建模与仿真[D].西南交通大学,电气工程,2014,硕士.
[48]李周浩.上海港和釜山港的港口竞争力比较研究[D].复旦大学,区域经济学,2012,硕士.
[49]师途,刘东,张磊,杨甬英,沈亦兵.非球面非零位检测的逆向优化面形重构[J].光学学报,2014,06:151-158.
[50]李杨鑫.能源价格对经济波动的影响研究[D].首都经济贸易大学,西方经济学,2014,硕士.
相关推荐
- 我国商业银行中间业务的发展研究
- 05月07日
- 智能物流中车联传感网络的关键技术研究
- 06月25日
- 乌苏里瓦韦的抗炎活性部位筛选及抗炎活性成分研究
- 08月22日
- 小型单体高星级饭店员工绩效管理研究
- 11月12日