面向云存储的非结构化数据存储研究与应用

【摘要】计算机应用的不断发展导致了数据量的急剧攀升,由于数据结构化过于受限于人工处理,非结构化数据的增长速度远远大于结构化数据。如何存储应用系统中需要处理的非结构化数据,包括文本、图像、音频、视频、PDF、电子表格等,是常常困扰系统设计人员的问题。非结构化数据的存储通常有两种方式,一是使用文件系统以文件的方式存储,将文件的路径或者链接存储在关系型数据库表中。这种存储方式的优点是数据的读写速度快,缺点是数据的管理不方便,并且还需要考虑数据的安全性和事务处理的一致性；另一种是将这些数据存储在传统的数据库表的大对象字段中,这种方式充分利用数据库的事务、管理和安全性,但是可能带来数据查询和读写上的性能问题。这就促使我们要对海量非结构数据的存储进行研究和分析。云存储是网格、并行和分布式计算等众多技术发展和延伸,云存储实现了存储的完全虚拟化,提供更强大的存储及共享功能。制约非结构化数据存储的关键因素是,数据中心与异构终端之间的数据共享程度不够高,存储系统的高并发读写能力欠缺,存储系统的线性扩展能力比较差。本文以云存储、NoSQL技术等相关领域为研究背景,提出面向云存储的非结构化数据存储方案,将数据分布到云中进行分节点处理,这样做不仅降低成本,而且提高数据的存储能力。论文首先论述了非结构数据的存储现状及云存储的发展前景,研究了非结构化数据的存储方式,探讨了当前存储方式的特点和不足。接着研究了云环境下的三种存储技术,并对云环境下新型数据库技术NoSQL以及非关系型数据库MongoDB进行了论述,结合非结构化数据的特点、云存储的优势以及MongoDB的数据存储特性,提出非结构化数据云存储的必要性。基于当前流行的hadoop云平台,设计了非结构化数据的云存储平台。在此平台中,将非结构化数据与其元数据信息进行分离式存储,非结构化数据以文件的方式存储在HDFS分布式文件系统中,元数据信息改用MongoDB进行存储。然后设计实验验证平台的可行性和有效性,实验结果表明,MongoDB存储元数据信息,可以加快数据的访问速度,NameNode节点的内存消耗有明显的降低。最后,针对海量图片存储系统中存在的问题,分析非结构化数据云存储平台应用的可行性,对海量图片云存储系统进行设计和存储管理实现。
【作者】胡珊珊；
【导师】傅秀芬；
【作者基本信息】广东工业大学，计算机软件与理论，2014，硕士
【关键词】非结构化数据；云存储；MongoDB；图片存储系统；

【参考文献】
[1]赵俊凤.牛奶蛋白改性聚丙烯腈混纺纱及其产品研究[D].上海工程技术大学,服装设计与工程,2011,硕士.
[2]曾希柏,胡清秀,于双民,陶劲松,董文.我国农业科技园区建设及发展建议[J].中国农业资源与区划.2001(03)
[3]李春彦.高职生英语学习动机组成因素与个体特征差异研究[D].山东大学,英语语言文学,2012,硕士.
[4]沈君玉.企业并购决策中的价值评估问题研究[D].武汉理工大学,会计学,2004,硕士.
[5]王鹏辉.Cu/SiC复合材料非晶相界面设计与性能研究[D].郑州大学,材料学,2013,硕士.
[6]谷振涛.非线性矩阵方程Hermite正定解的性质[D].山东大学,应用数学,2012,硕士.
[7]赵立刚.基于气相色谱分析的变压器故障诊断系统的开发与应用[D].华北电力大学（河北）,2004.
[8]赵鹏辉.嫖宿幼女罪案研究[D].黑龙江大学,法律,2013,硕士.
[9]王勇.吉林省通信公司运营分析与决策支持系统建设方案[D].吉林大学,2005.
[10]李婷.基于程序行为的异常检测模型研究[D].青岛大学,计算机软件与理论,2004,硕士.
[11]回晶.西藏蕨麻补血机能及有效成分的研究[D].辽宁师范大学,细胞生物学,2003,硕士.
[12].《浙江工业大学学报》征稿简则[J].浙江工业大学学报,2014,04:473.
[13]张思昂.社区卫生服务人员对健康管理知识需求的调查研究[D].杭州师范大学,社会医学与卫生事业管理,2013,硕士.
[14]李青.王尔德小说中的面具[D].河北师范大学,比较文学与世界文学,2013,硕士.
[15]杨静.视频处理技术的研究[D].辽宁工程技术大学,计算机应用技术,2004,硕士.
[16]赵联晨.道路基层冷再生技术在S345枣济线大修工程中的应用研究[D].吉林大学,交通运输工程,2014,硕士.
[17]靳增雪.轻带电粒子谱仪的研制与测试[D].中国科学院研究生院（近代物理研究所）,粒子物理与原子核物理,2014,硕士.
[18]郭秀娟,李原.序列模式算法研究——类Apriori方法[J].现代情报,2003,12:142-143+146.
[19]郭新美,王宗花,夏建飞,张菲菲,夏延致,李延辉.多巴胺在聚亚甲基蓝/石墨烯修饰电极上的电化学行为研究[J].分析测试学报,2012,04:464-469.
[20]付晓辉.库切《耻》的对话关系研究[D].重庆大学,英语语言文学,2014,硕士.
[21]王博.低信噪比卫星通信中的编码与解调技术研究[D].杭州电子科技大学,信号与信息处理,2013,硕士.
[22]刘一凡.基于可接受视角的高校思想政治教育创新研究[D].辽宁师范大学,思想政治教育,2012,硕士.
[23]董祥和.三层结构及组件技术实现员工数据管理系统[D].太原理工大学,计算机软件与理论,2004,硕士.
[24]祝伟友.九三管理局生态林业建设现状及发展对策研究[D].吉林大学,农业推广,2012,硕士.
[25]金玉红,王莉,尚玉明,高剑,李建军,何向明.锂离子电池石墨烯-LiMPO_4(M=Fe,V和Mn)复合正极材料的研究进展[J].中国科学:化学,2015,02:158-167.
[26]陈丽明.类风湿关节炎合并间质性肺疾病临床分析[D].吉林大学,临床医学（专业学位）,2013,硕士.
[27]刘竞井.阳光体育运动背景下普通高校体育课内外一体化现状与个案实验研究[D].西南交通大学,体育教育训练学,2014,硕士.
[28]崔汉峰.图像拼接技术研究[D].辽宁工业大学,控制理论与控制工程,2013,硕士.
[29]张植明,田景峰.基于蕴涵的区间值直觉模糊粗糙集[J].控制与决策,2010,04:614-618.
[30]朱张青,周川,胡维礼.基于粗集理论的一种混合智能故障诊断新方法[J].控制与决策,2006,02:233-235+240.
[31]束梅影.家蚕BmN培养细胞昼夜节律生物钟基因的表达特征[D].苏州大学,发育生物学,2013,硕士.
[32]张红.二维傅立叶相位导风技术的研究[D].南京气象学院,大气物理学与大气环境,2004,硕士.
[33]殷继勇.村镇土地可持续利用评价与战略研究[D].北京交通大学,2013.
[34]高燕.利用蛋白质芯片技术探索肺纤维化早期标志物及硒代金属硫蛋白的防护作用[D].中国人民解放军军事医学科学院,药理学,2004,硕士.
[35]陈欢.面向垂直搜索引擎的聚焦网络爬虫关键技术研究与实现[D].华中师范大学,计算机技术,2014,硕士.
[36]杨成云,朱建新.基于比例阀的液压挖掘机振动掘削控制系统设计[J].凿岩机械气动工具,2005,01:24-29.
[37]张卫.基于GIS的农村健身设施空间分布研究[D].河北师范大学,体育人文社会学,2012,硕士.
[38]杨岚.天津市南开中学现任教职工参与体育锻炼的意识和行为特征的调查报告[D].天津体育学院,体育教学（专业学位）,2014,硕士.
[39]赵雪娟.高温强光对小麦叶绿体D1蛋白、Deg1蛋白酶和PSⅡ功能的影响及水杨酸的调节作用[D].河南农业大学,植物学,2012,硕士.
[40]张舒颖.谷崎润一郎老年题材作品中的老人危机意识[D].吉林大学,日语语言文学,2013,硕士.
[41]江庆.新中国财政管理体制的变迁与完善[D].福建师范大学,马克思主义理论与思想政治教育,2004,硕士.
[42]舒武静.基于体域网的运动能量消耗检测系统的研究[D].华中师范大学,电路与系统,2013,硕士.
[43]刘江,王长松,黄效国.OPTO22热备控制系统在锅炉水位控制中的应用[J].冶金自动化,2002,04:30-32.
[44]谭新祥.地铁再生制动能量用于动力照明系统的方案研究[D].西南交通大学,轨道交通电气化与自动化,2014,硕士.
[45]陈发初.国家助学贷款难的诚信思考及对策研究[D].武汉科技大学,科技哲学,2003,硕士.
[46]韦树懿.36例骨髓增生异常综合征患者铁过载状况调查[D].广西医科大学,血液内科（专业学位）,2013,硕士.
[47]王欣.辽墓与五代十国墓的布局、装饰、葬具的共性研究[D].吉林大学,考古学及博物馆学,2013,硕士.
[48]陈瑞峰.富勒烯碳纳米管[J].化学工业,2013,10:26-28.
[49]田宾.唐山三友氯碱绩效考核体系分析与设计[D].河北工业大学,工商管理,2013,硕士.
[50]李拴魁.SnS及SnS/C复合纳米结构的可控制备与应用[D].兰州大学,2014.