字符串词典压缩索引算法研究

【摘要】近年来，随着互联网的迅猛发展和移动设备的大量普及，尤其是大数据时代的到来，越来越多的数据需要处理，其中文本数据占据着越来越大的比重，如何对大规模文本数据进行高效地存储和索引成为一个新的挑战。面对这一挑战，主要有两种解决思路：一种是对数据进行空间上的压缩，使得在相同存储资源的情况下，能存储和处理更多的数据；另一种是设计更加高效的外存算法和数据结构，把数据放在外存，每次只读取需要的部分到内存中进行处理，确保高效的I/O操作。字符串词典索引作为文本索引的基础，其应用无所不在，如地理信息系统、网络搜索引擎、信息检索系统等。大数据时代大规模的文本数据同样对字符串词典索引提出了新的挑战。本文从空间压缩和外存索引两方面对字符串词典索引算法进行研究，其主要研究工作如下：(1)针对现有的字符串词典索引空间占用普遍较大的问题，提出了一种新的字符串词典压缩索引S-trie，实现了字符串词典索引的压缩，即在对原始字符串词典数据进行索引以支持快速查找的同时，实现了对原始字符串词典数据的压缩。通过实验对比，证明了S-trie在空间性能方面的优势，S-trie的压缩比达到原始数据的30%。(2)针对外存磁盘环境，对S-trie进行改进，提高数据的本地引用，使其在外存环境下具有高效的I/O操作，提出了一种字符串词典外存压缩索引SB-trie。SB-trie继承了S-trie空间占用小的优点，同时具有良好的本地引用性能，可以高效地工作在外存磁盘环境。实验表明，SB-trie在空间占用上优于现有的索引，同时在数据量较大的情况下，也具有良好的查找时间性能。
【作者】张国清；
【导师】张广泉；
【作者基本信息】苏州大学，计算机软件与理论，2014，硕士
【关键词】字符串词典；压缩索引；外存算法；大数据处理；

【参考文献】
[1]林胜.制造自动化通讯协议MAP的标准和规范[J].航空工艺技术.1990(06)
[2]王海波.MMP-2、MMP-9在创伤后创面受“再次刺激”后局部表达的变化[D].蚌埠医学院,外科学,2013,硕士.
[3]黄斌.利用Bernstein算子及其迭代的线性组合构造高精度拟插值算子[D].复旦大学,应用数学,2012,硕士.
[4]简从相.低氧对脂多糖诱导的牙周膜细胞炎症因子及OPG/RANKL表达的作用研究[D].第三军医大学,野战外科学,2014,博士.
[5]王冰.清水河流域（原州区段）生态系统健康评价[D].宁夏大学,生态学,2014,硕士.
[6]刘琼.我国新能源上市公司财税补贴效应分析[D].安徽大学,财政学,2013,硕士.
[7]龚珣.隔夜信息对中国股市的影响研究[D].南京大学,工业工程（专业学位）,2013,硕士.
[8]李庆忠,魏继东.论检波器横向拉开组合的重要性[J].石油地球物理勘探,2008,04:375-382+363.
[9]张荣怀.银杏黄酮甙对人巨细胞病毒转染血管内皮细胞的保护作用[D].第四军医大学,老年医学,2004,硕士.
[10]苗春蕊.我国上市银行经营绩效评价与实证研究[D].河北经贸大学,统计学,2014,硕士.
[11]王春来.和谐社会建设下的农民工体面劳动问题[D].东北师范大学,中共党史,2012,硕士.
[12]王磊.测钴自动分析仪的研制开发[D].中南大学,2002.
[13]王清毅,蔡智,邹翔,蔡庆生.部分数据缺失环境下的知识发现方法[J].软件学报,2001,10:1516-1524.
[14]张永玲.徐州市农村中小学阳光体育运动的开展现状与对策研究[D].宁波大学,体育教学,2013,硕士.
[15]张林森.镍氢电池正极材料氢氧化镍的制备及电化学性能[D].河北工业大学,化学工艺,2004,硕士.
[16]吕浩.Y型偏心支撑钢框架—混凝土核心筒结构抗震性能研究[D].西安建筑科技大学,结构工程,2013,硕士.
[17]洪涛.多小区协作MIMO系统的有限反馈技术研究[D].上海大学,通信与信息系统,2014,硕士.
[18]钟恒.铈离子光催化降解茜素绿的性能和机理研究[D].武汉纺织大学,环境工程,2013,硕士.
[19]王欣.高炉热风炉智能控制系统[D].中南林学院,计算机应用技术,2004,硕士.
[20]田晓婧.我国住房公积金制度改进及其对策研究[D].天津大学,公共管理,2013,硕士.
[21]罗巧飞.初中校园学生暴力的学校原因及对策研究[D].华中师范大学,教育管理,2012,硕士.
[22]刘琤,文惠民,朱力.铸轧生产优化的自动控制[J].冶金自动化,1991,04:16-19+60.
[23]王祖峰.皮肤、肌肉端粒DNA推断年龄的研究[D].山西医科大学,法医病理学,2003,硕士.
[24]梁亚婷.地铁火灾烟气流动规律的数值模拟研究[D].西安科技大学,安全工程,2013,硕士.
[25]刘杨.痔洗药3号治疗肛周瘙痒的临床研究[D].黑龙江中医药大学,中西医结合临床（专业学位）,2013,硕士.
[26]陈庆兴.甲状腺功能亢进对心房颤动高凝状态以及血栓栓塞事件的影响[D].复旦大学,内科学,2012,硕士.
[27]李萌,王传坤,李晨希,王金淼,马恒.基于富勒烯类材料太阳能电池研究进展[J].电子元件与材料,2013,02:70-76.
[28]郭亚明.T型三通管多向挤压成形研究[D].中北大学,材料加工工程,2013,硕士.
[29]孙永进.LARS人工韧带重建膝前交叉韧带后5年系列随访研究[D].苏州大学,临床医学（专业学位）,2013,硕士.
[30]孙寅秋.无线传感器网络故障诊断算法设计[D].西安电子科技大学,应用数学,2012,硕士.
[31]王卉.考虑拥堵成本的航线网络优化设计及其算法研究[D].南京航空航天大学,交通运输规划与管理,2013,硕士.
[32]冯玉玲,汪剑波,李霜.固体物理课程建设的探索和实践[J].长春理工大学学报,2012,11:222-223.
[33]王宇.关于σ-弱遗传闭包保持集族和CC_ω空间[D].苏州大学,基础数学,2003,硕士.
[34]徐志云.无线传感网虚拟IPv6网关设计与实现[D].南京邮电大学,通信与信息系统,2013,硕士.
[35]熊明祥.龙潭湾大桥施工项目管理[D].长安大学,项目管理（专业学位）,2014,硕士.
[36]陈天佑.统筹城乡发展视角下的大理州“农转城”问题研究[D].大理学院,马克思主义基本原理,2013,硕士.
[37]张景文.涉外电站项目质量管理模式的比较与选择[D].西南交通大学,工商管理（专业学位）,2013,硕士.
[38]谢锡海.华粤集团绩效评估实践[D].厦门大学,2002.
[39]马跃.松辽盆地乾153-59井区三维地质建模和数值模拟[D].中国地质大学（北京）,石油与天然气工程,2014,硕士.
[40]蔡艳妮.行动导向法在高职信息技术教学中的应用研究[D].广东技术师范学院,职业技术教育学,2014,硕士.
[41]陈昭.肯氏相思与木麻黄人工林养分生物循环研究[D].福建农林大学,农业推广,2012,硕士.
[42]陈思瑜.基于空间句法的长沙古城空间形态演变与动因分析[D].湖南师范大学,设计艺术学,2013,硕士.
[43]关丽荣.单片机嵌入TCP/IP的研究与实现[D].沈阳工业大学,测试计量技术及仪器,2004,硕士.
[44]明文钦.民族文化教育资源个性化服务研究[D].云南师范大学,教育技术学,2013,硕士.
[45]张新英.典型POPs农药污染土壤热解吸修复技术研究[D].辽宁工程技术大学,环境工程,2012,硕士.
[46]王晶.微电网建模及仿真平台的开发[D].北京建筑大学,建筑与土木工程,2013,硕士.
[47]林书雄.以乙酰胆碱酯酶为靶标的虚拟筛选研究[D].华中师范大学,农药学,2013,硕士.
[48]王悦.基于低碳绿色发展理念的我国航运企业竞争力评价研究[D].大连海事大学,技术经济及管理,2013,硕士.
[49]范正伟.探讨TNF-α与Wnt/β-catenin信号通路在小鼠原代前脂肪分化过程中相互作用机制[D].山东师范大学,细胞生物学,2013,硕士.
[50]方志中.小波分析及其在遥感图像分析中的应用研究[D].湖南大学,计算机应用,2010,硕士.