基于Hadoop的分布式系统研究与应用

【摘要】大数据的概念，几乎是近年来突然火了起来。随着计算机技术的飞速发展，人们获取信息的途径越来越多，数据量也呈爆炸性发展。根据美国互联网数据中心的报告，Internet的数据每年将增长50%，也就是说现在世界上的电子数据，有九成都是近年来才产生的。面对海量数据，如何去合理利用成为了一门十分热门而且实际的研究方向。而所要研究的这些数据，就称为大数据（bigdata），他的常见特点为3V：Volume（巨量）,Velocity（实时性）,Variety（多样性）。这些数据数目巨大，结构复杂，类型也没有统一的规范，这与我们常见的数据库中的信息有着很大的不同。大数据初看可能找不到什么规律，甚至可以说是杂乱无章。以目前常用的数据处理软件对大数据进行常规处理所需要的时间过长，不利于企业将结果用于决策判断。大数据虽然有着巨大和杂乱的特点，但是将这些数据进行专业处理后，却能获得更深层次的信息，具有更强的决策力与洞察力。就如同某地区几年来的气象信息可以经过分析获得该地基准预报方式，网上购物门店对客户购买数据分析能够判断自己更应该把产品投向哪些区域的市场等等。那么如何进行快速处理以满足企业的需求就是大数据的重点研究对象，可以说大数据数据分析行业的前沿技术。其中分布式计算就是一个很有前景的处理方式。分布式计算，顾名思义，主要研究的是将单个的计算机组成网络神经后进行分散式的计算，最后将节点神经的结果合并后得到数据的科学。分布计算的概念要早于大数据概念的产生。它最重要的目标是共享稀有资源与负载平衡。与单机计算不同，分布式计算在单个设备上的成本降低了很多。以往的科学计算，必须依托小型机以上的设备，通过单个计算机个体的性能来完成巨量的运算。分布式计算系统不仅降低了系统的成本，还有着别的系统无法比拟的两个特点：负载均衡与共享资源。本文以热门的开源分布式系统Hadoop为实现目标。Hadoop既满足了分布式计算的特点，又因其是以java实现的基础便于开发与低成本投入，十分适合企业在合理成本下的分布式计算需求。我们就分布式计算在金融行业中的实际应用进行试验，部署了hadoop集群，从实践的角度以数据论证了分布式计算可以提供处理大数据所需要的计算能力，同时很大程度上降低了企业的运行成本，是未来企业发展的大势所趋。
【作者】王铮；
【导师】刘淑芬；王晓燕；
【作者基本信息】吉林大学，软件工程，2014，硕士
【关键词】大数据；分布式计算；hadoop集群；负载均衡；

【参考文献】
[1]庞丽.自动打孔装订机的可靠性设计[D].天津大学,机械制造及其自动化,2004,硕士.
[2]李文浩1,2,徐玲玲1,2.太阳能中温利用相变材料MgCl26H2O的热循环耐久性研究[J].功能材料,2014,09:.
[3]王书莉.Cd~(2+)、Pb~(2+)、Cu~(2+)浓度对克氏原螯虾生长及其体内富集的影响[D].扬州大学,水生生物学,2012,硕士.
[4]付毅.自体耳屏软骨的解剖学研究及在鼻尖整形中的临床应用[D].遵义医学院,整形外科（专业学位）,2012,硕士.
[5]周佳萍.经方胶艾汤助孕安胎作用的实验研究[D].湖北中医学院,中医妇科学,2004,硕士.
[6]刘宇.乙烯基三乙氧基硅烷/丙烯酸酯乳液合成及应用研究[D].浙江大学,材料学,2004,硕士.
[7]张冬慧.上海市公立医院治理结构研究[D].复旦大学,社会医学与卫生事业管理,2012,博士.
[8]刘雅欣.老年人膝关节保健玩具设计[D].浙江理工大学,艺术设计（专业学位）,2014,硕士.
[9]常高.Space操作系统中工控软件互操作的研究与实现[D].首都师范大学,计算机应用技术,2014,硕士.
[10]叶菲,罗景青.基于BFSN聚类的雷达信号分选与特征提取算法[J].舰船电子对抗,2005,03:29-34.
[11]崔淼.肿瘤细胞中Anxa7，Jnk和Gsn的亚细胞定位和定量研究[D].大连医科大学,病理学与病理生理学,2012,硕士.
[12]杨明,杨萍.一种基于前缀广义表的快速间接关联挖掘算法[J].安徽工程科技学院学报(自然科学版),2004,04:40-45.
[13]王良.基于MMPI的MPSoC中任务迁移机制设计与实现[D].哈尔滨工业大学,微电子学与固体电子学,2013,硕士.
[14]谢印成.江苏高校印刷企业集团组建模式研究[D].南京理工大学,2003.
[15]王东鹏.基于建筑教育理念下的建筑馆设计[D].长安大学,建筑设计及其理论,2014,硕士.
[16]韩凤娇.尚德义花腔艺术歌曲的创作特征与演唱分析[D].湖南师范大学,音乐学,2013,硕士.
[17]孟庆莲.社会工作与未成年解教人员社会融入问题研究[D].湖南师范大学,社会学,2013,硕士.
[18]倪文勤.语境在对外汉语惯用语教学中的作用的研究[D].浙江大学,汉语国际教育（专业学位）,2014,硕士.
[19]高晓刚.影响TC4钛合金TIG焊接头力学性能的因素研究[D].内蒙古工业大学,材料科学与工程,2013,硕士.
[20]刘毅军.光与空间一体化视觉设计研究初探[D].华侨大学,建筑设计及其理论,2004,硕士.
[21]林小芳.基于综合金融发展平台的A保险公司品牌提升研究[D].广东工业大学,工商管理,2014,硕士.
[22]尹卫方,蒙虎.发电集团信息化发展探讨[J].电力设备,2005,07:56-59.
[23]张耀人.健脾益气方调控NSAIDs胃粘膜损伤COX-2信号中CREB蛋白通路转导研究[D].广州中医药大学,中医内科学（专业学位）,2014,博士.
[24]侯艳微.基于横断面调查的代谢综合征中医病因病机研究[D].北京中医药大学,中医学,2013,硕士.
[25]贾艳敏.论我国房地产登记制度[D].对外经济贸易大学,法律,2004,硕士.
[26]陈剑.静电喷涂机器人喷涂轨迹规划研究[D].兰州理工大学,机械制造及其自动化,2014,硕士.
[27]刘火龙.基于LMI技术的被动容错控制系统设计方法研究[D].东北大学,控制理论与控制工程,2010,硕士.
[28]聂恒洋.沈阳市于洪区耕地资源预测和变化因素研究[D].南京农业大学,公共管理,2013,硕士.
[29]张可科.具有自适应抓取能力的欠驱动假肢手的研究[D].华中科技大学,机械电工程,2013,硕士.
[30]张华玉.十月战争时期的美国中东政策研究[D].华中师范大学,国际关系史,2013,硕士.
[31]王寒.博客：传统的颠覆还是传统的延续？——从传播学意义上看博客与传统媒体的关系[D].吉林大学,新闻学,2004,硕士.
[32]邓小雷,傅建中,夏晨晖,付国强,陈子辰.数控机床主轴系统热模型参数多目标修正方法[J].机械工程学报,2014,15:119-126.
[33]丁晴,方昕,范利武,徐旭,俞自涛,胡亚才.不同二维纳米填料对复合相变材料导热系数的影响[A].中国化工学会.2013中国化工学会年会论文集[C].中国化工学会:,2013:2.
[34]宋修鹏.黑穗病菌侵染初期甘蔗幼苗光合生理变化及基因差异表达[D].广西大学,作物栽培学与耕作学,2014,博士.
[35]朱烨昕.论新时期军营文化建设[D].安徽大学,社会学,2004,硕士.
[36]穆翔.基于模糊近似的强化学习方法研究[D].苏州大学,计算机应用技术,2014,硕士.
[37]史潇楠.腺嘌呤的表面增强拉曼光谱和表面增强超拉曼光谱理论研究[D].吉林大学,原子与分子物理,2014,硕士.
[38]王少卿.促性腺激素释放激素拮抗剂方案对IVF患者血清及卵泡液中IGF-Ⅱ，VEGF及雌孕激素水平的影响及临床意义[D].河北医科大学,妇产科学（专业学位）,2014,硕士.
[39]唐伟.铜陵市烟草公司营销渠道终端管理策略研究[D].安徽大学,工商管理,2014,硕士.
[40]袁宜.金融机构自律机制的博弈理论研究[D].华东师范大学,金融学,2004,硕士.
[41]樊燕萍.冬病夏治儿童咳喘贴治疗干预小儿哮喘病的回顾性研究[D].北京中医药大学,中医儿科学,2013,硕士.
[42]韦香.FDI、中国的官员晋升激励与环境污染[D].山东财经大学,世界经济,2012,硕士.
[43]陈亚楠.自噬与卵巢上皮性癌细胞顺铂敏感性的关系的研究[D].河北医科大学,妇产科学,2013,硕士.
[44]陈淡宁.基于物联网的智能家居环境监测系统的研究[D].吉林大学,电子与通信工程,2014,硕士.
[45]牛皓.基于单目视觉的非合作目标姿态测量研究[D].哈尔滨工业大学,仪器仪表工程,2014,硕士.
[46]张乾坤.高速宽带数字接收与恢复系统设计[D].西安电子科技大学,电路与系统,2012,硕士.
[47]余长慧,孟令奎,潘和平.基于贝叶斯网络的不确定性知识处理研究[J].计算机工程与设计,2004,01:1-3+6.
[48]高鸿鹏.《汉书》论赞研究[D].河北大学,史学理论及史学史,2014,硕士.
[49]苏萍.套利定价理论的检验及在证券组合投资决策中的应用研究[D].南京气象学院,系统分析与集成,2004,硕士.
[50]申凯文.高中思想政治课教学互动研究[D].华中师范大学,学科教学,2012,硕士.