房地产信息垂直搜索引擎技术研究

【摘要】由于计算机及网络的飞速发展，因特网上的信息量呈指数级增长。当使用通用搜索引擎来搜索相关的信息时，准确率越来越令人难以接受，有时候甚至访问了几十个页面都无法找到所需的内容，这对于一般人是无法接受的。面对这个问题，垂直搜索引擎应运而生。垂直搜索引擎的出现能够解决通用搜索引擎的领域性不足问题，对特定领域的搜索能够做到更加专注、更加深入、更加精确。本文课题是针对近年来房地产的现状，设计并实现了房地产垂直搜索引擎。其中重点研究垂直搜索引擎中的两个关键技术：网络爬虫和中文分词。本文的主要内容如下：(1)介绍了研究背景和意义、搜索引擎的概述以及垂直搜索引擎的国内外现状和发展。(2)介绍了垂直搜索引擎所涉及的相关技术，包括网络爬虫技术、网页信息提取技术、中文分词技术、信息索引技术和搜索结果排序技术。(3)深入研究了Shark-Search算法，分析其存在的两个不足之处：锚文本上下文不足和局部最优不足。针对这两个不足之处提出了改进，分别加入了链接聚类和隧道技术。链接聚类能够解决Shark-Search算法的锚文本上下文不足之处，而隧道技术则能够解决主题孤岛效应，从而避免局部最优问题。实验表明改进后的算法相比原来算法在抓取主题相关的页面上有显著提高。(4)研究了概率统计模型的一种——隐马尔可夫模型，并且将其和词性标注相结合，加入自定义状态和自定义标注，经过计算来确立最大概率的状态序列，从而能够有效地识别房地产命名实体。(5)结合前几章提出的理论，实现了房地产垂直搜索引擎系统，其中包括五大部分：网络爬虫、页面处理、中文分词、信息索引、信息搜索。(6)对论文做了全面的总结，并对未来的研究工作进行了展望。
【作者】李勇；
【导师】袁友伟；
【作者基本信息】杭州电子科技大学，计算机软件与理论，2014，硕士
【关键词】聚焦网络爬虫；隐马尔可夫；隧道技术；倒排索引；信息提取；

【参考文献】
[1]焦琰.山谷型生活垃圾填埋场运行期间污染防控及其工程应用研究[D].重庆大学,环境工程（专业学位）,2014,硕士.
[2]伊志强.半城市化阶段失地农民就业问题研究[D].清华大学,公共管理（专业学位）,2007,硕士.
[3]徐秀宏.我国当代大学生道德认知存在的问题与对策研究[D].沈阳师范大学,思想政治教育,2014,硕士.
[4]耿磊.消费信息不对称的法律规制研究[D].河北经贸大学,经济法学,2012,硕士.
[5]谈春林.ZM61-0.5Ca0.4Nd合金组织和性能的优化研究[D].重庆大学,材料科学与工程,2014,硕士.
[6]许书传.诊断飞机装配不协调问题之要诀——先简后繁,以内定外法则[J].航空工艺技术.1992(05)
[7]邰红勤.高含硼、高燃速固体推进剂研究[D].西北工业大学,火炮、自动武器与弹药工程,2004,硕士.
[8]王智.山药种质资源抗性鉴定、抗病机制研究和遗传多样性分析[D].河南农业大学,植物病理学,2004,硕士.
[9]郭灿灿.海拉尔盆地重磁场研究[D].吉林大学,地球探测与信息技术,2013,硕士.
[10]陈加如.平衡周期二元序列的κ-错线性复杂度研究[D].杭州电子科技大学,电子与通信工程,2012,硕士.
[11]魏建刚.易学“象”视角下的译学研究[D].山东大学,英语语言文学,2014,博士.
[12]李晓英.奥氏体变形对低碳高硅钢等温贝氏体组织的影响[D].燕山大学,材料学,2013,硕士.
[13]闫鑫.nRF24L01在ARM-Linux环境下自组网协议设计[D].河北科技大学,电子与通信工程,2014,硕士.
[14]张勇.烧伤代谢指纹图谱绘制、代谢靶标筛选及营养治疗方案优化的研究[D].第三军医大学,外科学,2014,博士.
[15]广小明,李东颖,龙志勇.新一代运营支撑系统体系结构及关键技术分析[J].电信科学,2004,05:40-44.
[16]王丽君.论德沃金法哲学中的“政策”[D].南京师范大学,法学理论,2012,硕士.
[17]里天姝.有限元法分析多用唇弓和摇椅弓在矫治深覆（牙合）时的作用效果[D].大连医科大学,口腔临床医学,2012,硕士.
[18]付劲德.MG53敲除对小鼠运动性骨骼肌损伤的影响及补充FDP的作用[D].北京体育大学,运动人体科学,2013,硕士.
[19]刘亚楠.《自闭症简述》第二、三、四、七章翻译报告[D].四川外国语大学,翻译（专业学位）,2014,硕士.
[20]本刊讯.《控制与决策》喜获2013年度“中国科技论文在线优秀期刊”一等奖[J].控制与决策,2015,03:460.
[21]郭霞.从《华商报》看“中国元素”在西安房地产广告中的运用[D].西北大学,传播学,2013,硕士.
[22]马喜臣.基于消费者学习理论的企业促销效果分析[D].山西财经大学,企业管理,2014,硕士.
[23]徐俊.钢筋混凝土框架梁弯矩调幅系数合理取值研究[D].华中科技大学,结构工程,2013,硕士.
[24]张雪丽,杨红梅,武静.TISPAN13Ter会议总结[J].电信网技术.2008(01)
[25]刘壁松,李春平.一个可扩展的文本分类系统的设计与实现[J].计算机工程与应用,2004,30:102-106.
[26]何立红.中等职业院校教师职业倦怠现状分析[D].大连医科大学,流行病与卫生统计学,2012,硕士.
[27]刘丽艳.河北省农业保险运营存在的问题与对策研究[D].中南林业科技大学,农村与区域发展,2013,硕士.
[28]吴丹.基于档案管理视角的网站保存研究[D].黑龙江大学,档案学,2013,硕士.
[29]黄晓波.风力发电系统变流器的效率分析[D].浙江大学,2014.
[30]陈丽娟,杨欣,夏安邦.热电厂MES系统数据仓库的设计与应用[J].东南大学学报(自然科学版),2005,S2:188-192.
[31]陈梨.加味四逆汤对急性免疫性肝损伤小鼠的保护作用及部分机制研究[D].广州医科大学,中西医结合临床,2014,硕士.
[32]关昌俊.CEREC Ⅲ CAD/CAM三种贴面材料色差的试验研究[D].大连医科大学,口腔临床医学,2012,硕士.
[33]樊洁.基于TNC的BLP访问控制模型研究[D].西安电子科技大学,密码学,2012,硕士.
[34]时骏.海事系统基层执法人员绩效评估方法研究[D].武汉理工大学,管理科学与工程,2004,硕士.
[35]徐嘉莉.基于多移动代理系统的个性化数据挖掘系统的研究[D].电子科技大学,2004.
[36]王茜.蓝田县社区体育活动开展现状调查研究[D].西安体育学院,体育,2013,硕士.
[37]韩夏.900MHz模拟蜂窝式移动电话交换网的设计[J].电信工程技术与标准化.1994(02)
[38]甄丽莉.磷酸盐基隔热材料的制备和性能优化[D].哈尔滨工业大学,物理化学,2013,硕士.
[39]李兴华.车船税法律问题研究[D].西南政法大学,经济法学（专业学位）,2012,硕士.
[40]金柏娇.中学物理教学中学生自然观的培养研究[D].东北师范大学,课程与教学论,2012,硕士.
[41]田歌.定量化脑电图评估大脑中动脉供血区梗死患者预后的研究[D].南方医科大学,神经病学,2012,硕士.
[42]刘伟.聚合物驱采出液油包水型乳状液性质研究[D].东北石油大学,油气储运工程,2013,硕士.
[43]刘虎.韩国政府采购法律制度及其启示[D].广东外语外贸大学,法律,2013,硕士.
[44]崔小涛.美国与“普韦布洛”号危机的管理[D].外交学院,国际关系,2014,硕士.
[45]韦波.面向服装业的CPC研究[D].天津科技大学,2005.
[46]刘进.谐波对继电保护影响的研究[D].天津理工大学,电力系统及其自动化,2013,硕士.
[47]刘建伟.房价微博情感分类研究[D].哈尔滨工业大学,土地资源管理,2014,硕士.
[48]张泽铭.氧化石墨烯(GO)修饰的TiO_2纳米管阵列光阳极的制备及其在染料敏化太阳能电池(DSSC)中的应用[J].广东化工,2014,14:10-11+17.
[49]张林.皖南烟—稻连作体系中镁、氯、硼互作及后效对烤烟生长和土壤养分的影响[D].南京农业大学,生态学,2012,硕士.
[50]刘闽.基于知识迁移的网络舆论多维度识别系统的设计与实现[D].哈尔滨工业大学,计算机技术,2013,硕士.