改进K-Means聚类算法在基于Hadoop平台的图像检索系统中的研究与实现

【摘要】现代人们的生活已经进入了移动互联网时代,各种移动互联网设备的普及和广泛应用极大的方便了人们的生活学习等各个方面。与此同时,来自各行各业的大量信息正以多媒体信息的方式数字化并不断累积。其中图像作为最为基本的多媒体信息之一易于理解和使用,人们对图像检索的需求也从开始的根据文本描述来检索图像发展到根据图像内容来检索相似图像。图像检索早已成为计算机领域的一个研究热点,它可以按照检索内容划分为基于文本的图像检索和基于内容的图像检索。本文主要的内容是如何应用大数据技术进行基于内容的海量图像检索技术的研究和实现。从数据层面分析,一个基于内容的图像检索系统要解决大量图像数据的存储和快速处理两个最主要的问题,本文将使用专门用于大数据存储和处理的Hadoop技术来存储大量的图像数据并进行离线地分布式计算；从检索技术层面分析,要进行特征提取和处理,本文将提取图像的SIFT特征,然后对这些特征进行K-Means聚类,将聚类结果作为Bag-of-Words模型的视觉词袋对所有图像的SIFT特征点进行量化处理,从而用一个固定维数的特征向量表示每一幅图像,此外再用TF-IDF加权技术处理这些特征向量,最终计算这些图像与检索图像特征向量之间的相似度,返回相似度最小的一些图像。本文使用并修改HIPI-Hadoop图像处理接口实现在Hadoop上进行图像类型的存储处理和检索,提出了一种改进的并行K-Means算法并应用于特征点的聚类,使用一种基于面积的相似度计算方法计算图像特征向量间的相似度。改进了部分Mahout源码适应大数据的处理需求。图像检索应用广泛,对基于Hadoop的图像检索系统的研究将对大数据时代图像检索技术的发展起到一定的指导作用。
【作者】黎光谱；
【导师】郑建德；
【作者基本信息】厦门大学，计算机技术，2014，硕士
【关键词】图像检索；大数据；存储；分布式计算；Hadoop；HIPI；K-Means；

【参考文献】
[1]易正俊.多源信息智能融合算法[D].重庆大学,2002.
[2]谢玮,臧磊.3GPPTSG-CN19会议标准研究进展[J].电信网技术.2003(06)
[3]宋楠.职业教育管理体制创新研究[D].湖南师范大学,教育,2004,硕士.
[4]宋晓枫.粮食企业发展模式分析：ADM与中粮的比较[D].北京交通大学,2013.
[5]蒋军.基于ERP的现代企业管理信息系统研究与实现[D].西南交通大学,2002.
[6]佘焱,钱龙军,张嗣瀛.一类非线性控制系统的输出调节[J].控制与决策,1999,05:461-464.
[7]矣兰.直驱式A/C轴双摆角数控万能铣头动态特性分析与检测[D].沈阳工业大学,机械制造及其自动化,2013,硕士.
[8]孙建军.王闿运拟古诗学研究[D].中南民族大学,中国古代文学,2013,硕士.
[9]陈国仙.低强度复合振动联合阿仑膦酸钠预防卵巢切除大鼠骨质疏松的实验研究[D].南方医科大学,外科学,2014,博士.
[10]陈琦.四旋翼无人直升机先进飞行控制方法及实现研究[D].南京航空航天大学,系统工程,2013,硕士.
[11]孙一菲.海外教育文化活动[D].华东师范大学,中外教育关系,2013,硕士.
[12]邸楠,席本野,JeremiahR.PINT,王烨,李广德,贾黎明.宽窄行栽植下三倍体毛白杨根系生物量分布及其对土壤养分因子的响应[J].植物生态学报,2013,10:961-971.
[13]李然.关于农村地区特殊儿童成长状况的调查报告[D].安徽大学,社会工作,2014,硕士.
[14]鞠菲.专业领域未登录词识别研究[D].华东师范大学,情报学,2013,硕士.
[15]党美丽.广告中隐喻的关联研究[D].西安电子科技大学,外国语言学及应用语言学,2004,硕士.
[16]周忠志.直流断路器转移电流的电弧采集及特性分析[D].大连理工大学,电机与电器,2013,硕士.
[17]耿云明.创伤性颅脑损伤后垂体前叶激素的动态变化及临床意义[D].大连医科大学,外科学,2012,硕士.
[18]原伟杰.聚乳酸纤维沙袋沙障降解老化性能研究[D].中国林业科学研究院,生态学,2014,博士.
[19]骆笑.社会主义核心价值体系凝聚改革共识的探索[D].浙江大学,思想政治教育,2013,硕士.
[20]宋河海.连续长玻纤增强聚丙烯复合材料的制备及其性能研究[D].北京化工大学,机械设计及理论,2013,硕士.
[21]李成龙.兴德米特和声与调性理论的应用分析[D].西南大学,音乐与舞蹈学,2013,硕士.
[22]张阳.浙江省能源供应与保障问题的对策研究[D].浙江工业大学,2013.
[23]向科炜,郑静,郭丽丽,黄光速,李光宪.石墨烯/碳纳米管杂化填充的乳液聚合丁苯橡胶热降解动力学研究[A].中国化学会高分子学科委员会.2013年全国高分子学术论文报告会论文摘要集——主题C：高分子结构与性能[C].中国化学会高分子学科委员会:,2013:1.
[24]马梅.内蒙古奶业问题研究[D].内蒙古农业大学,农业经济管理,2004,硕士.
[25]王艳.旅游上市公司绩效分析与实证研究[D].山西财经大学,会计学,2013,硕士.
[26]彭庆宇.复合材料增强体的跨尺度设计及其界面增强机制研究[D].哈尔滨工业大学,2014.
[27]李金梦,叶旭君,王巧男,张初,何勇.高光谱成像技术的柑橘植株叶片含氮量预测模型[J].光谱学与光谱分析,2014,01:212-216.
[28]SalimuAbushiriJinyevu.Ortunities and Challenges Facing Foreigners in Online Shoping in China:a Case of Foreign Students Shopping in Taobao[D].华中师范大学,工商管理,2014,硕士.
[29]陈晋苏.特征选择在电信行业客户流失分析中的应用[J].科技资讯,2005,22:4.
[30]高韦.面向三网融合的多模无线模块设计与干扰抑制研究[D].安徽大学,通信与信息系统,2013,硕士.
[31]黄媛.构建基于Web数据挖掘的信息服务系统[J].情报探索,2004,04:109-110.
[32]蒋金莉.大学生英语辩论赛中针对语用预设的反驳策略研究[D].江苏师范大学,英语语言文学,2013,硕士.
[33]张杰.社会资本影响员工创造力过程模型研究[D].浙江大学,2007.
[34]马天蔚.DB2V8让BI更聪明[J].每周电脑报,2002,45:38.
[35]魏永林.基于web日志挖掘的电子商务个性推荐研究[D].辽宁工程技术大学,管理科学与工程,2012,硕士.
[36]赵莉.新疆大学生公民意识教育实践模式建构研究[D].新疆师范大学,思想政治教育,2013,硕士.
[37]李晓琳.通心络胶囊联合外周血干细胞移植治疗大鼠糖尿病足溃疡的作用和机制研究[D].河北医科大学,中西医结合临床,2014,硕士.
[38]孙艳东.行政办公建筑交往空间设计研究[D].重庆大学,建筑学（专业学位）,2014,硕士.
[39]彭华伟.生物有机肥对烤烟氮磷钾营养吸收及品质的影响[D].河南农业大学,作物栽培学与耕作学,2004,硕士.
[40]徐春晖.石墨烯的功能化修饰及其在分子识别、光电转换上的应用研究[D].湖北大学,2011.
[41]种璐.小组工作介入自闭症儿童家长心理压力的探索[D].西北大学,社会工作（专业学位）,2014,硕士.
[42]黄华杰,孙东平,汪信.用于甲醇氧化的石墨烯负载铂钴合金纳米粒子催化剂[J].科学通报,2012,22:2144.
[43]李智.基于快速成型技术定制化人工半膝关节系统的研制与应用[D].第四军医大学,外科学,2004,硕士.
[44]钱钧荣.由等t_0图作构造图的切线法[J].石油地球物理勘探,1976,06:22-27.
[45]张靓.成都平原乡野环境下的博物馆建筑创作研究[D].西南交通大学,建筑设计及其理论,2013,硕士.
[46]柳云玲.带碳水化合物单元的N-杂环卡宾配体及Au（Ｉ）、Pd配合物的合成和结构表征[D].福建师范大学,无机化学,2012,硕士.
[47]李姣.基于湿地依赖—承载力的洞庭湖区系统耦合及对策研究[D].北京林业大学,林业经济管理,2014,博士.
[48]叶明.肝移植受体预后多因素分析临床研究[D].浙江大学,2004.
[49]王亚贤.文化进化论指导下非遗现代发展之路研究[D].江南大学,设计艺术学,2012,硕士.
[50]罗晓强.电力设备运行数据的数据仓库、数据挖掘与决策支持系统集成[J].云南电力技术,2004,01:35-36.