基于mongodb的倒排索引建立
【摘要】随着Web2.0与云计算的兴起,越来越多的企业选择NoSQL作为企业应用的基本架构。作为非关系型数据库的典型代表,mongodb被更多的选择,用来处理海量数据的存储,因此必然越来越多的应用逐渐转向使用mongodb作为数据库来实现。全文索引检索就是其中的最基础的,典型的应用之一,而倒排索引表的构建正是其中最核心的技术之一。本课题旨在探究一种基于mongodb存储,用于中文全文检索的倒排表的建立的方法,实验的过程以搜狗精简版30M文本分类语料库为实验数据,对其中的一个分类的1900多篇文档进行了简单的去标点,去特殊符号处理,对处理结果进行了中文分词,并基于分词结果直接(没有考虑对分词结果进行停用词消除,词项归一,词形归并,词干还原等关键词提取操作等建立词库的处理)的实现了基于mongodb存储倒排表的,用于全文检索的倒排索引表的构建,过程中应用到了mongodb的mapreduce模块实现了一种简单的分治,归并的倒排表构建策略,最终达到了预期目标,并对实验过程进行了记录,对实验结果进行了简单的分析。
【作者】刘晓奎;
【导师】康辉;梅芳;
【作者基本信息】吉林大学,软件工程,2014,硕士
【关键词】非关系型;mongodb;倒排表;mapreduce;
【参考文献】
[1]孟祥溪,李素莹,周克迪,王贺宁,任秋实.分子医学影像设备研究进展(下)[J].中国医疗设备,2015,04:1-6+10.
[2]臧景峰.基于小波变换的低速率视频系统研究[D].长春理工大学,物理电子学,2004,硕士.
[3]杨坤鹏.MoS_2及其复合纳米微粒的制备与摩擦学性能研究[D].河南大学,2014.
[4]曾艳丽.产品外形个性化定制概念设计模型[D].西安电子科技大学,机械制造及自动化,2004,硕士.
[5]张平.中国对日韩农产品产业内贸易实证研究[D].海南大学,世界经济,2013,硕士.
[6]李秀芝.基于功率波动的风电上网电价及调控策略研究[D].广东工业大学,电气工程,2014,硕士.
[7]宋峰.气相共聚抗冲聚丙烯质量指标在线估计与控制[D].北京化工大学,控制科学与工程,2013,硕士.
[8]汪梦琼.基于品牌战略的白酒企业投资价值分析[D].华东理工大学,会计(专业学位),2013,硕士.
[9]杨艳英.搅拌摩擦焊机器人轨迹规划系统的设计与实现[D].大连理工大学,测试计量技术及仪器,2013,硕士.
[10]安亚巍.OLAP系统平台一多维联机分析系统XOLDAS的分析与设计[D].上海海事大学,2004.
[11]包胡其图.内蒙古风景油画与内蒙古地域性文化研究[D].内蒙古师范大学,美术学,2013,硕士.
[12]朱嘉钢,王士同,杨静宇.鲁棒r-支持向量回归机中参数r的选择研究[J].控制与决策,2004,12:1383-1386.
[13]严颖浩.深圳中智劳务派遣业务风险管理研究[D].西北大学,工商管理(专业学位),2012,硕士.
[14]范振国.消费者知情权的法律保护[D].吉林大学,法律,2004,硕士.
[15]吴顺川,周喻,高斌.卸载岩爆试验及PFC~(3D)数值模拟研究[J].岩石力学与工程学报,2010,S2:4082-4088.
[16]朱亚莉.促进“反思”的概念构图教学研究[D].华东师范大学,2003.
[17]车树涛.分数阶PI~λD~μ蒸汽压力控制系统算法研究[D].哈尔滨理工大学,控制理论与控制工程,2012,硕士.
[18]孙永乐.论证特许经营在航空公司联盟战略中的应用前景[D].对外经济贸易大学,国际贸易,2004,硕士.
[19]肖胜.基于J2EE的分布式系统的研究与应用[D].西安理工大学,控制理论与控制工程,2004,硕士.
[20]陈建伟.基于多Agent协作机制的酒店客户关系管理系统的研究[D].广东工业大学,2004.
[21]柴玉璞.根据重力异常计算基岩深度的方法[J].石油地球物理勘探,1981,01:55-63.
[22]李鹏.兔肌腱周围滑膜干细胞的分离培养及成骨分化[D].大连医科大学,外科学,2012,硕士.
[23]焦生虎.中国铝业集团财务管理模式改进研究[D].兰州大学,工商管理(专业学位),2013,硕士.
[24]王宜昌,杨辉,郑彬卿.重力资料多层界面的反演效果[J].石油地球物理勘探,1991,03:410.
[25]韩辉.太阳能光伏系统最大功率跟踪控制策略研究[D].沈阳工业大学,控制理论与控制工程,2013,硕士.
[26]胡祺.镀锡原板冷间轧制用油品的开发和现场应用研究[D].复旦大学,化学工程,2012,硕士.
[27]程鹤立.非全日制研究生学位论文指导研究[D].西南大学,高等教育学,2014,硕士.
[28]毕宇虹.科普兰管弦乐作品《墨西哥沙龙》创作研究[D].曲阜师范大学,音乐学,2013,硕士.
[29]潘红伟.引种刺槐繁殖和耐盐性研究[D].河北农业大学,森林培育,2004,硕士.
[30]蒋南云,葛红玉,方叶祥,孙玉玲.基于Flexsim的随机混流装配线平衡设计与仿真[J].组合机床与自动化加工技术,2014,12:128-130+134.
[31]付嘉.我国连锁零售业发展环境分析及乐客多在苏南地区发展的战略选择[D].东南大学,2005.
[32]郝谦.完善我国车船税法的探讨[D].湘潭大学,法律,2011,硕士.
[33]刘忠珉.我国研究教学型大学教师绩效管理研究[D].河北大学,教育学原理,2014,硕士.
[34]王少飞.氧化石墨烯的表面酸碱性质及其对U(Ⅵ)和Th(Ⅳ)的吸附研究[D].兰州大学,2013.
[35]徐德全.基于企业核心能力的并购战略研究[D].长春理工大学,企业管理,2004,硕士.
[36]李昌彪,夏克文,宋建平,闾晓晨.一种基于属性重要性的粗糙RBF神经网络[J].控制与决策,2006,07:821-824+828.
[37]卢永,甘德强,吴荻,姜宁.市场指数方法对计及上游燃料市场影响的下游发电企业的博弈策略(英文)[J].电力系统自动化,2015,02:81-86.
[38]马一铭.歌剧《女人心》中女高音咏叹调的音乐与演唱分析[D].山东师范大学,艺术(专业学位),2013,硕士.
[39]张贯超.ABS仿真试验台架开发[D].青岛理工大学,车辆工程,2013,硕士.
[40]张振伟.钛酸锂电池负极材料的制备及电化学性能研究[D].陕西科技大学,材料物理与化学,2013,硕士.
[41]袁屹璋.红层软岩填料的工程特性及其改良土在高填方边坡中的适用性评价[D].成都理工大学,地质工程,2013,硕士.
[42]张成文.基于Web的中小学综合教学管理平台的研究与实现[D].兰州大学,软件工程(专业学位),2013,硕士.
[43]陈璐.幼儿园园长课程领导现状及策略研究[D].东北师范大学,学前教育学,2012,硕士.
[44]于晓晶.山东半岛冷流暴雪过程的环境条件分析与数值模拟研究[D].中国气象科学研究院,气象学,2013,硕士.
[45]栗凤娟.载药聚乳酸微球的设计与制备[D].扬州大学,高分子化学与物理,2012,硕士.
[46]蒋中鹏.线性系统传递函数的辨识[J].冶金自动化,1981,03:29-38.
[47]杨景明,王洪瑞,方一鸣.1850mm铝带冷轧机板形控制软件简介[J].冶金自动化,1995,01:18-21.
[48]沈一飞.《〈论自然法下人和公民的责任〉编者导读》翻译报告[D].四川外国语大学,翻译(专业学位),2013,硕士.
[49]王子峰.高中历史课题“探究式学习”应用研究[D].东北师范大学,教育,2003,硕士.
[50]詹希.长株潭城市群低碳城市评价与对策研究[D].南昌大学,人口、资源与环境经济学,2012,硕士.