基于Lucene的中文分词技术研究与实现

【摘要】信息技术的快速发展推动了互联网的信息的不断丰富和搜索引擎技术的加速发展,作为信息检索之一的中文分词技术显得尤为重要,中文分词技术促进了全文检索技术的发展。Lucene便是随着这一过程而产生发展的。Lucene是由apache公司开发的一个开源工具包,其目的是为了实现全文检索。但在具体的实现上,它仍有很多改进的地方,尤其是在对中文信息的处理上。所以本文的研究重点是Lucene的中文分词技术。在对Lucene进行深入研究后,本文提出Lucene的字符串匹配的改进算法——正向最大增字匹配算法,该算法分词结果更加准确,在此基础上,下文构造一种Lucene的分析器MyChAnalzyer,该分析器的核心模块是基于词前缀的哈希逐字匹配算法的中文分词器,通过多种方法测试该分析器的分词性能,主要考察分词速度和分词精度两个方面,其中,分词精度方面又通过两种测试方案来测试。从实验的结果来看准确率比lucene自带的分析器有较大的提高。本文最后一章提出改进的排序结果算法,该算法是将Lucene自带的排序结果算法与PageRank算法结合并改进的,通过测试10个用户对三个算法的平均满意度来说明改进算法的优越性。最后,总结全文,对未来要进行的工作提出了展望。
【作者】王鹏；
【导师】李同强；
【作者基本信息】浙江工商大学，信号与信息处理，2014，硕士
【关键词】中文分词；Lucene；哈希；排序算法；

【参考文献】
[1]闫晶.《1Q84》中主人公伦理道德的研究[D].浙江大学,日语语言文学,2013,硕士.
[2]张静.大学英语四级听力考试对大学英语听力教学的反拨效应研究[D].渤海大学,学科教学（专业学位）,2014,硕士.
[3]罗芳.数据挖掘和XML技术的研究[D].武汉理工大学,2002.
[4]单欣涛.基于不确定多属性决策的饮用水健康风险评价[D].北京化工大学,管理科学与工程,2013,硕士.
[5]张保举.诸城市产业集群竞争力提升的公共政策研究[D].山东大学,公共管理（专业学位）,2013,硕士.
[6]郭盛,卢晓春,阮锋.基于模具设计质量控制的软件系统设计[J].机电工程技术,2003,06:60-61+65.
[7]金晶,张满成,马艳,周庆,李爱民.磁性固相萃取在环境分析中的应用[J].环境保护科学,2015,01:90-94.
[8]曹亚平.城市化质量的评价体系构建及空间计量分析[D].吉林大学,数量经济学,2014,硕士.
[9]梁海荣.上海市延安中学生命科学专题研究性学习的研究[D].华东师范大学,生物课程与教学论,2013,硕士.
[10]赵业丹.中职英语课堂提问策略研究[D].湖南科技大学,教育学,2013,硕士.
[11]刘海猛.基于复杂系统理论的绿洲城镇化机理研究[D].西北师范大学,人文地理学,2014,硕士.
[12]洪慧杰.TiO_2-石墨烯的光催化降解农药研究和氨基功能化石墨烯在溶剂中的光谱行为研究[D].郑州大学,2014.
[13]王文广.二氧化钛基复合光催化材料的制备及其性能研究[D].武汉理工大学,2012.
[14]曹宏坚.Turbo码分块并行译码算法仿真研究与碰撞自由S型交织器设计[D].西南交通大学,通信与信息系统,2013,硕士.
[15]姜野.构建浙江舟山群岛新区扁平化行政管理体制研究[D].浙江海洋学院,农村与区域发展（专业学位）,2014,硕士.
[16]汤晓风.琵琶传统流派平湖派生存现状调查报告与思考[D].中央音乐学院,琵琶演奏艺术,2012,硕士.
[17]徐翔宇.基于Flex与ArcGIS Server的建设用地监管系统设计与实现[D].华中农业大学,资源环境信息工程,2014,硕士.
[18]孙江明.自由现金流与资本结构调整速度的实证研究[D].浙江工商大学,会计学,2014,硕士.
[19]康彦彦.我国货币政策利率传导效应研究[D].青岛大学,金融学,2004,硕士.
[20]龙竞.对凯恩斯“流动性陷阱”学说的质疑[D].广东外语外贸大学,国际贸易学,2013,硕士.
[21]苏醒.嵌入式汽车开关性能检测系统研究[D].天津理工大学,控制工程,2013,硕士.
[22]陈杰,应时彦,朱华.基于MFRC522的RFID读卡器设计[J].浙江工业大学学报,2014,06:616-620.
[23]宋宁宁.北京市特大型养老院老年人的行为特征与空间需求研究[D].北方工业大学,建筑设计及其理论,2014,硕士.
[24]张磊.基于谐振软开关的高频静电除尘电源的研究[D].大连理工大学,电机与电器,2013,硕士.
[25]郝剑东.基于海事组织示范课程的翻译实践报告[D].大连海事大学,英语笔译,2013,硕士.
[26]张勇.我国保障房融资难问题分析与对策研究[J].生产力研究,2014,04:56-61.
[27]郑玉.论法官自由裁量权[D].吉林大学,法学理论,2004,硕士.
[28]潘从茂.暂态电能质量扰动检测分析研究[D].新疆大学,电力系统及其自动化,2013,硕士.
[29]钱婧.“地图和迷宫”—科马克·麦卡锡小说《路》的空间解读[D].南京理工大学,英语语言文学,2012,硕士.
[30]陆妍.我国股票型开放式基金的相对绩效分析与评价[D].苏州大学,金融（专业学位）,2014,硕士.
[31]张晓晖.中小企业财务管理中存在的问题及对策[J].企业改革与管理,2014,15:80-81.
[32]张福静.信息技术环境下农村小学综合实践活动教学案例研究[D].河北师范大学,现代教育技术,2014,硕士.
[33]卫晓华.DLK1调控Notch信号通路对T-ALL细胞的影响[D].山西医科大学,血液内科学,2013,硕士.
[34]黄鹦,夏新顺.用单片机实现的直流传动装置故障自诊断系统[J].冶金自动化,1991,03:36-39+64.
[35]张倩.商业银行保密制度研究[D].华中科技大学,经济法,2013,硕士.
[36]李晓东.带有保护区的单一渔业资源的离散动力学模型分析[D].中南民族大学,应用数学,2013,硕士.
[37]冯皛.超声引导下经皮穿刺射频消融治疗甲状腺良性结节的临床研究[D].大连医科大学,影像医学与核医学,2012,硕士.
[38]刘春娜.基于B/S的个人电脑网上销售系统的开发与设计[D].吉林大学,软件工程,2014,硕士.
[39]王心竹.上海市信贷规模对住宅价格影响研究[D].华东师范大学,产业经济学,2013,硕士.
[40]欧建华.悬臂碳纳米管纯弯曲问题的研究[D].华南理工大学,2012.
[41]刘文杰.添喂赖氨酸对小尾寒羊瘤胃和整体消化代谢的影响[D].新疆农业大学,生物化学与分子生物学,2012,硕士.
[42]赵煦萌.白杨素对实验性脑梗死大鼠脑保护作用及其机制的研究[D].河北医科大学,神经病学（专业学位）,2013,硕士.
[43]华见.基于小波超复数分数阶傅里叶变换的视觉显著目标检测研究[D].西南交通大学,信号与信息处理,2014,硕士.
[44]周忠昌.我国医疗保险城乡统筹问题研究[D].山东财经大学,社会保障,2012,硕士.
[45]陈瑞昊.光纤频率传递系统中的光学相位噪声补偿方案的优化与实现[D].上海交通大学,电子科学与技术,2014,硕士.
[46]马海民.VC及VE联合应用对红细胞保存质量的影响[D].河北医科大学,人体解剖与组织胚胎学,2014,硕士.
[47]陈民铀,张聪誉,罗辞勇.自适应进化多目标粒子群优化算法[J].控制与决策,2009,12:1851-1855+1864.
[48]谢云英.基于纳米放大技术的电化学免疫传感器在生物标志物检测中的应用[D].华中师范大学,2012.
[49]王学斌.上海铁路局信息系统引入云计算的方案设计与实施[D].上海交通大学,软件工程,2013,硕士.
[50]李昂.中国商业银行海外投资的动因与优劣势[D].吉林大学,金融,2014,硕士.