集成学习多样性研究

【摘要】集成学习是机器学习领域中的研究热点问题,其通过组合多个学习器来解决一个问题。对比普通的机器学习算法在训练数据上生成一个学习器,集成学习生成一组学习器并通过各类方式组合它们,从而取得比单个学习器更好的泛化能力及分类准确性。而在提高集成学习准确性方面,由于集成分类器各分类器的多样性与准确性之间存在一定关系。因此,深入研究准确性同多样性之间的关系,并通过增强多样性来提升分类器准确性则变得至关重要。本文以随机决策树(RandomDecisionTrees,RDT)为基分类器,因RDT作为不稳定分类器,集成之后较之单个分类器提升效果明显,且RDT本身的随机性也增加了多样性。此外,分别利用半监督学习算法Tri-training及新的集成策略BLB(BagofLittleBootstrap),并对比其他集成策略进行实验。之后,使用多样性度量方法及准确性评价方法,对结果进行汇总分析。在各实验基础上,利用微信公众平台,采用众包策略,以航海语料库作为实验数据集进行文本分类,请用户参与文章的人工分类来获取反馈,利用用户的不同分类来产生多样性,通过真实的众包来实现集成学习,并对反馈结果进行分析研究,并使用特征选择和选择性集成来改进之前的两种算法。本文具体的工作包括：(1)本文使用Tri-training半监督学习算法,以RDT作为基分类器进行迭代训练,最后得出集成分类器。该算法利用半监督学习的特点,通过使用已标记样本训练出的三个初始分类器互相标注未标记样本,改良各基分类器,同时利用未标记样本增加了分类器的多样性,即增强了各基分类器间的差异。该实验分别在UCI上的不同规模的10组小数据集以及5组中等规模数据集进行实验,并选取经典集成学习算法Bagging和Adaboost作为对比实验,采用10倍交叉验证方法来获取平均测试准确率及DF,KW和MTI等多种多样性度量值,分析准确性与多样性两者之间存在的关系。实验结果证明,多样性的适度增强确实可以提升准确性。(2)本文采用BLB作为新的集成策略来进行多样性研究。由于其融合了Bootstrap和二次抽样的特点,通过扰动训练集的方式增加了多样性。同样以RDT作为基分类器,在UCI上不同的中小规模数据集进行实验。并利用实验结果分析准确性与多样性的关系。实验结果证明,BLB的确比同样利用Bootstrap的Bagging算法在多数数据集上的准确性有所提高,从另一侧面反映出多样性增强对准确性提高的作用。(3)最后本文借助微信公众平台,采用众包策略,相比传统人工分类成本高,难获得,采用众包策略的微信平台人工分类具有成本低,获取便捷等优势。选取航海语料库中被前述两种集成算法分类错误的文章,通过用户对文章不同的人工分类结果来产生多样性,利用该结果进行分析研究,并使用特征选择和选择性集成等方法对之前两种算法进行了改进。实验证明,改进后的算法准确性有明显提升。
【作者】乔桢；
【导师】傅英亮；
【作者基本信息】大连海事大学，软件工程，2014，硕士
【关键词】集成学习；多样性；半监督学习；众包策略；分类；

【参考文献】
[1]詹静芬.易黄汤联合重组人干扰素治疗宫颈HR-HPV感染的疗效观察及其对病毒载量的影响[D].福建中医药大学,中西医结合临床（专业学位）,2013,硕士.
[2]党美丽.广告中隐喻的关联研究[D].西安电子科技大学,外国语言学及应用语言学,2004,硕士.
[3]陈汉青.基于共同因子模型的中国农产品期货市场研究[D].复旦大学,国民经济学,2012,硕士.
[4]杜晓林.运脾益肾中药及综合干预治疗学龄期特发性矮小症的临床观察[D].山东大学,公共卫生（专业学位）,2013,硕士.
[5]史仪凯,袁小庆,李锻炼.强化实验教学体系改革探索创新能力培养途径[J].中国大学教学.2008(05)
[6]孙涵奇.蒙古族民歌改编的多声部合唱中复调因素[D].内蒙古师范大学,音乐学,2012,硕士.
[7]刘蕾蕾.阿拉伯盆地石油地质特征和重油潜力分析[D].吉林大学,矿产普查与勘探,2014,硕士.
[8]李茂银.芳纶纤维性能研究[D].长春工业大学,高分子化学与物理,2013,硕士.
[9]刘红林.一种新型膜穿透肽的穿膜特性研究[D].山西医科大学,生物化学与分子生物学,2002,硕士.
[10]刘凌波.乡镇工业发展与环境经济的利益博弈探析[D].北京交通大学,2008.
[11]安志峰.计量器具登记备案管理信息系统[D].山东大学,计算机技术（专业学位）,2012,硕士.
[12]王震.基于惯性作动器的管路系统振动主动控制研究[D].中国舰船研究院,船舶与海洋结构物设计制造,2014,硕士.
[13]吕聪正.路面铣刨机铣刨系统分析与优化设计[D].长安大学,机械制造及其自动化,2014,硕士.
[14]郭牛牛.基于LBS技术的大学城外卖移动服务设计研究[D].广东工业大学,工业设计,2014,硕士.
[15]胡小菊.二尖瓣置换术患者心肺转流后早期血流动力学的初步研究[D].南京医科大学,麻醉学,2013,硕士.
[16]陈婷.走进语文教育的文艺学[D].安徽大学,文艺学,2013,硕士.
[17]陈渊.基于半导体量子阱自发辐射相干对弱场传输的影响[D].华东交通大学,材料物理与化学,2013,硕士.
[18]乌云其其格.亲属称谓相关的复合名词结构语义研究[D].内蒙古师范大学,中国少数民族语言文学,2013,硕士.
[19]许铁英.月经过少病因病机认识及诊疗经验总结[D].北京中医药大学,中医学,2014,硕士.
[20]蔡华.新资本协议框架下的信用风险组合管理研究[D].青岛大学,金融学,2004,硕士.
[21]赵涛涛.注册会计师拓展企业社会责任报告鉴证业务之研究[D].浙江工商大学,会计学,2013,硕士.
[22]姬丽琴.磁性碳纳米管复合材料的可控制备及其去除四溴双酚A（TBBPA）研究[D].兰州大学,高分子化学与物理,2013,硕士.
[23]罗丹.中药颗粒剂的安慰剂评价及制备工艺研究[D].成都中医药大学,药剂学,2012,硕士.
[24]张彩凤.活血通管方联合腹腔镜治疗输卵管远阻塞性不孕的临床研究[D].广州中医药大学,中医妇科学（专业学位）,2013,硕士.
[25]陶金.中国“制度性”版画展览研究[D].华中师范大学,美术学,2014,硕士.
[26]金晓丽,苏玉荣,叶立群,谢海泉.超薄Bi_(24)Cl_(10)O_(37)纳米片的合成及其光催化性能研究[A].河南省化学会.河南省化学会2014年学术年会论文摘要集[C].河南省化学会:,2014:1.
[27]张思英.PD-L1在人胎盘间充质干细胞上的表达及生物学意义研究[D].滨州医学院,免疫学,2011,硕士.
[28]吴成梁,吴培文.大功率IEGT变频器及其桥臂改造[J].冶金自动化,2009,03:45-48.
[29]夏翔,黄伟,徐祥海,甘德强.考虑小水电启停策略的准入容量计算[J].电力系统自动化,2006,22:48-52.
[30]李伟胜,胥布工,汤玉峰.智能电网馈线终端一种高精度测频算法及应用[J].电力系统自动化,2014,11:109-115.
[31]李大义,王金凤.分级分布微型机实时控制系统在袜机提花中的应用[J].自动化学报,1986,01:62-67.
[32]茅彦青.电子商务环境下快递企业的顾客忠诚度研究[D].南京邮电大学,企业管理,2013,硕士.
[33]夏云峰.上市公司会计信息披露问题研究[D].湘潭大学,区域经济学,2001,硕士.
[34]张景.基于自协调指数核函数的原始—对偶内点算法[D].上海大学,运筹学与控制论,2014,博士.
[35]肖红艳.公司高管人员的劳动法律适用问题[D].华侨大学,经济法学,2014,硕士.
[36]于小丽.德国土地产权与土地征收补偿制度介绍[D].山东大学,金融学,2013,硕士.
[37]吕圣军.数据挖掘在房地产客户关系管理中的应用研究[D].浙江工业大学,2008.
[38]任伟.从法国大革命到美国的乡镇自治[D].西南政法大学,法学理论,2012,硕士.
[39]杨松.食管结核30例临床诊治分析[D].遵义医学院,消化内科（专业学位）,2013,硕士.
[40]胡静.从合作原则的违反剖析《傲慢与偏见》中的人物性格及人物关系[D].长安大学,外国语言学及应用语言学,2014,硕士.
[41]朱道斋.建筑节能减排政策评价研究[D].北京交通大学,2014.
[42]姚岳绒.立法过程中公众参与问题研究[D].华东政法学院,宪法学与行政法学,2003,硕士.
[43]武霄泳.基于线性调频信号的无线定位系统设计与实现[D].郑州大学,计算机技术（专业学位）,2013,硕士.
[44]赵宗建.城市低碳交通运输体系建设研究[D].长安大学,交通运输规划与管理,2013,硕士.
[45]陈虹地.大豆胚尖遗传转化体系的优化及CHS8，MYB12b2基因的遗传转化[D].吉林大学,作物遗传育种,2014,硕士.
[46]刘娟.湖南省生猪产业链优化整合问题研究[D].湖南农业大学,农业经济管理,2012,硕士.
[47]顾晓娟.虚拟手术中软组织模型的变形及切割[D].中国科学技术大学,精密仪器及机械,2014,硕士.
[48]陈志强,秦金太,刘仿.企业如何实施供应链管理[J].黄河水利职业技术学院学报,2001,04:55-57.
[49]胡丹,莫智文.基于粗集的规则提取LBR和LEM3[A].中国自动化学会智能自动化专业委员会、昆明船舶设备集团公司、云南自动化学会、中国人工智能学会计算机视觉及智能控制学会、IEEE控制系统学会北京分会、中国自动化学会机器人竞赛工作委员会.2001年中国智能自动化会议论文集（下册）[C].中国自动化学会智能自动化专业委员会、昆明船舶设备集团公司、云南自动化学会、中国人工智能学会计算机视觉及智能控制学会、IEEE控制系统学会北京分会、中国自动化学会机器人竞赛工作委员会:,2001:7.
[50]辛义忠,李岩,袁伟强.移动手持触摸设备中提高目标选择精度的研究[J].计算机工程与应用.