高性能NOSQL存储系统的研究与实现

【摘要】随着web2.0的兴起和社交类网站的快速发展，如何快速查询和处理海量数据已经成为各大公司关注的焦点。对数据处理效率的提高，能够提高用户体验，并且能够节约人力和物力。稳定的运行、高容错性能、快速的数据存储和处理、易用的扩展能力已经成为现代数据库系统的典型特点。NOSQL数据库指的是不存在明确定义的数据存储仓库以及非关系型数据库。这种类型的数据库操作无须使用SQL语句，数据之间的联系也不存在关系这种概念。NOSQL数据库与RDBMS相比的优势在于支持分布式运行，运用部署与普通硬件的方法进行透明的节点扩展。比较典型的NOSQL数据库的数据存储形式是模式自由的Key-Value，而模式自由是指使用数据库前不再预先定义数据模型。所谓Key-Value，顾名思义是指一个键名对应一个键值，程序在访问value时可以直接通过访问key来实现，这种特性保证value的类型无须提前定义。举例说明，在传统的RDBMS中，必须先定义一张学生表，同时设置好各个字段的类型才能存放一个学生信息，如果要对学生信息进行增删改查等操作，就会导致之前使用的数据模型产生变动，而模式自由的数据库无须这样做。本系统是结合了NOSQL的相关概念而设计的一个快速的数据存储系统，提供数据基本的增、删、改、查功能，通过系统自动的对数据存储结构优化，提高系统的性能，目的就是要实现数据高效存储和查询，以应对如今的海量数据的处理和海量用户请求，除此之外，系统在系统的容错性能、数据备份、数据的灾难恢复方面都做了一定的研究，提高了系统的稳定性和适应恶劣环境的能力。系统采用基于Linux平台开发，以C语言作为主要的设计语言，保证系统可移植性和灵活性。而Linux操作系统在服务器方面的应用也远远的超过了其它的系统，保证了系统可以被不同的用户使用。通过本系统，用户能通过简单的操作就可以数据的高效管理，同时系统能为用户提供稳定的服务。本文研究的主题是如何快速的存储和查询数据。包括对数据的存储结构的研究：主要研究的是何种数据结构能够保证数据简单存储并且能提供高效的存储效率，同时，对数据的存储的位置进行研究，即存在内存还是存在本地硬盘；对数据查询结构的研究：主要研究数据以何种查询方式，能够提供较短的时间延时，特别是应对与大数据的时候；对内存管理的研究：当把所有的数据存放在内存是，对内存的管理就显的尤为重要，好的内存管理，能带来更高的数据存储效率，更高的系统稳定性和可用性；应对大量数据请求的研究：实际的应用中，数据的请求一般都是相当大的，提高单机的数据请求处理速度，是非常重要的，再好的存储系统，不能快速的处理数据请求，那么，整体的存储性能是比较低的；对c/s结构的设计的研究：c/s的结构设计，能在一定程度上，减少sever端的数据处理的压力，client和sever端的较好的协议、通信方式等，能在很大的程度上提高数据请求的有效率和成功率。本文开篇叙述了研究高性能NOSQL的相关背景、目的以及意义，并对系统的可行性和系统需求进行分析，在后续的章节中主要介绍了系统的模块划分和主要的模块的设计方法以及相关的算法。最后，对系统的各个模块做出相应的测试。
【作者】潘洪志；
【导师】赫枫龄；张雪松；
【作者基本信息】吉林大学，软件工程，2014，硕士
【关键词】海量数据；快速存储和快速查；NOSQL；内存管理；Libevent；

【参考文献】
[1]肖俊平.氢化碳纳米球的合成、电化学性质研究及玻璃碳球的高压相变[D].吉林大学,2014.
[2]陈佳.快消品企业渠道控制力测量量表的研究[D].西南交通大学,产业经济学,2012,硕士.
[3]康媞.水解污泥性状及水解反应机理研究[D].贵州师范大学,环境科学,2004,硕士.
[4]陈晓.L公司销售大区绩效管理研究[D].厦门大学,工商管理,2014,硕士.
[5]冯东武.基于粗大轮廓的异源视觉图像匹配技术研究[D].南京航空航天大学,测试计量技术及仪器,2013,硕士.
[6]李桂林,王传锐,季海波.具有Markov跳跃参数的一类随机非线性系统逆最优增益设计[J].自动化学报,2014,07:1285-1294.
[7]魏勇.车载Ad-hoc网络中基于DC-ARQ协作机制的系统性能研究[D].兰州理工大学,运筹学与控制论,2013,硕士.
[8]徐轶群.夏热冬冷地区边缘地带城镇居住建筑冬季室内热环境研究[D].西安建筑科技大学,建筑技术科学,2013,硕士.
[9]张振兴.肾癌根治术后肾功能连续变化的趋势研究[D].苏州大学,泌尿外科,2014,硕士.
[10]张可妹.冲绳返还时期的美日纺织品贸易摩擦（1969-1972）[D].华东师范大学,世界史,2013,硕士.
[11]李荣.目的论指导下美剧中的隐喻字幕翻译研究[D].西北大学,英语语言文学,2014,硕士.
[12]陈瑜.科技进步对低碳经济发展影响的实证研究[D].湖南大学,公共管理,2013,硕士.
[13]刘文军.我国营业税改增值税的法律问题研究[D].北方工业大学,经济法学,2014,硕士.
[14]欧西博（Cipa）.阿尔巴尼亚问题研究[D].华东师范大学,外交学,2013,硕士.
[15]刘畅.对蒙古国留学生汉语否定副词教学对策初探[D].内蒙古师范大学,汉语国际教育（专业学位）,2013,硕士.
[16]于甲军.基于图像处理的在线火焰检测技术在燃烧实验中的应用[D].浙江大学,工程热物理,2013,硕士.
[17]曹玉岩.大型柔性智能索网结构的形态分析与型面主动调整[D].西安电子科技大学,机械设计及理论,2012,硕士.
[18]刘谦.水力化措施中的水锁效应及其解除方法实验研究[D].中国矿业大学,安全技术及工程,2014,硕士.
[19]张琴.榜样在初中思想品德课教学中的运用策略[D].华中师范大学,学科教学,2014,硕士.
[20]刘雯波.农村土地整治生态风险管理研究[D].南京农业大学,土地资源管理,2013,硕士.
[21]冯娟.成本控制和信用控制在AK通信公司中项目上的应用研究[D].四川大学,2004.
[22]赵立强.并联机器人双目主动视觉监测平台及理论研究[D].燕山大学,2010.
[23]孟凡华.新形势下乡镇政府职能转变研究[D].中国海洋大学,公共管理,2011,硕士.
[24]赵红丹.团体辅导改善孤残儿童自尊与人际信任的实验研究[D].华中师范大学,应用心理,2014,硕士.
[25]魏增进.几何造型元素在服装款式设计中的运用[D].广西艺术学院,艺术设计（专业学位）,2014,硕士.
[26]鲁鹏.四氮杂环双功能螯合剂的合成及在正电子金属核素标记中的应用研究[D].郑州大学,应用化学,2013,硕士.
[27]周倩.UCD在农业信息服务网站界面设计中的应用研究[D].湖南大学,设计学,2014,硕士.
[28]吕强.高龄股骨颈骨折髋关节置换与经皮空心钉内固定治疗疗效对比分析[D].吉林大学,临床医学（专业学位）,2014,硕士.
[29]罗黎军.中国对外直接投资的母国决定因素[D].复旦大学,世界经济,2012,硕士.
[30]张秀丽.数据挖掘技术的研究及其在中药复方分析中的应用[D].西南交通大学,2004.
[31]于晔.多叶螺旋线圈强化平板太阳能集热器管内对流换热研究[D].内蒙古科技大学,供热、供燃气、通风及空调工程,2013,硕士.
[32]刘志军.论民事诉讼举证时限[D].中国政法大学,诉讼法学,2004,硕士.
[33]姚玮,陈敏,牟善科,高明智,钱照明.基于改进下垂法的微电网逆变器并联控制技术[J].电力系统自动化,2009,06:77-80+94.
[34]靳美玲.基于FPGA的车载行人检测系统的设计与实现[D].东北大学,电路与系统,2010,硕士.
[35]高爽.高中生散文阅读理解力培养的探索[D].河北师范大学,教育,2013,硕士.
[36]王平.既有居住建筑热力入口应用水喷射器能效提升技术研究[D].哈尔滨工业大学,建筑与土木工程,2013,硕士.
[37]张宝刚.大型平行连杆式锻造操作机系统动态特性分析[D].东北大学,机械工程,2011,硕士.
[38]陈红睿.戴维·佩珀的生态社会主义理论新探[D].哈尔滨工业大学,马克思主义理论,2013,硕士.
[39]朱旭.复制策略DTN路由算法在真实车辆轨迹场景中的性能评估[D].吉林大学,软件工程,2014,硕士.
[40]郭金芝.基于SIFT算法的车牌识别系统研究[D].西安电子科技大学,交通信息工程及控制,2012,硕士.
[41]许建稳.PBS/竹纤维与PBS/竹粉复合材料的制备与表征[D].郑州大学,材料工程（专业学位）,2013,硕士.
[42]陈思航.网络著作权侵权责任研究[D].扬州大学,法律,2012,硕士.
[43]初大林.无线传感器网络上轻量椭圆曲线密码的快速实现[D].山东大学,电子商务与信息技术,2013,硕士.
[44]陈锡栋.往复式油气混输泵组合阀工作特性的仿真分析[D].浙江工业大学,流体机械及工程,2012,硕士.
[45]杨帆.超小型雷达侦察终端及其信号处理技术[D].西安电子科技大学,电路与系统,2011,硕士.
[46]韩金辰.我国创业板上市公司的资本结构与企业绩效的实证研究[D].吉林大学,金融学,2013,硕士.
[47]苑韦虹.地裂缝计算模型及参数研究[D].长安大学,建筑与土木工程（专业学位）,2014,硕士.
[48]高上.中国语境下的舒斯特曼通俗艺术理论[D].牡丹江师范学院,文艺学,2012,硕士.
[49]姜楠.论有限责任公司股东资格的确认[D].吉林大学,民商法学,2014,硕士.
[50]赖杨灯.基于NETCONF的策略路由配置系统的设计与实现[D].北京交通大学,2014.