稀疏核函数模型建立方法研究

【摘要】核方法即为基于核的机器学习方法具有两个显著的特点：(1)在线性与非线性之间建立了一座桥梁,从而可以把求解线性问题的方法用于求解非线性问题；(2)核函数的引入巧妙地避免了维数灾难的问题,且并不增加计算复杂度。评价一个核函数模型好坏与否的一个重要标准就是核函数模型的稀疏性,因此建立一个稀疏的核函数模型是当今机器学习领域研究中的一个热点问题。目前核模型的建立主要有两种策略：凸优化法和贪婪法。采用凸优化法可以得到唯一的最优解,避免遇到局部最优解的问题,其代表有支持向量机,贪婪法求解问题的速度较快,其产生的最佳解决方案并不能保证为全局最优,只是整体最优或者接近整体最优。采用贪婪法的有核匹配追踪、投影追踪和正交最小二乘法等。在解决小样本、非线性和高维模式识别问题中支持向量机表现出了其优异的性能。同支持向量机相比,核匹配追踪的性能相当,但其具有良好的稀疏性和更低的计算复杂度。正交最小二乘法不仅具有简单、高效、并能产生具有线性权重非线性的模型的特点,还具有良好的泛化性能和稀疏性。目前绝大多数核函数模型中只采用了一种类型的核函数,但在实际情况中有些数据的结构并不相同,这种情况下只使用一种类型的核函数显然是不足的,针对这个问题本文提出了混合核模型。采用正交最小二乘法和混合核建立了回归模型,为了加快搜索的速度,采用重复加权推进搜索,重复加权推进搜索是一个简单而有效的全局优化搜索算法,由此建立的正交最小二乘的可调混合核函数模型具有良好的稀疏性和泛化能力。由于正交最小二乘法可调混合核函数模型是基于贪婪法的思想,得到的可能并不一定是全局最优解,为了更接近整体最优解,采用决策树的思想建立一个树型结构同时保留当前迭代的多个局部最优解来改进已经建立的正交最小二乘的可调混合核函数模型,以此达到局部最优解和整体最优解之间的一个平衡。采用树型结构建立的可调混合核函数模型与正交最小二乘的可调混合核函数模型相比,具有更好的稀疏性和泛化能力。
【作者】王黎曼；
【导师】张猛；
【作者基本信息】华中师范大学，计算机应用技术，2014，硕士
【关键词】机器学习；核函数；正交最小二乘；重复加权推进搜索；决策树；

【参考文献】
[1]余林江.离散时变系统自适应学习控制器的设计与实现[D].浙江工业大学,2012.
[2]张美琪.兼容分布式电源的直流配电系统的分析研究[D].北京交通大学,2014.
[3]李彩芬.表面活性剂对碳酸钡形貌控制机理的研究[D].扬州大学,无机化学,2012,硕士.
[4]李卫正.太湖地区典型水稻土磷素渗漏流失及其机理[D].南京林业大学,土壤学,2004,硕士.
[5]王从赵.盱眙县耕地地力评价及应用研究[D].南京农业大学,农业资源利用,2011,硕士.
[6]王胜耀.金砖国家发展银行贷款条件可能性研究[D].外交学院,国际关系,2014,硕士.
[7]宋志英.三类中药活性成分与溶菌酶的作用机制及构效关系研究[D].山西医科大学,药物分析学,2013,硕士.
[8]高文琳.我国政府环境绩效审计评价体系探究[D].沈阳理工大学,会计学,2013,硕士.
[9]张楠.复合材料圆筒壳轴压性能研究[D].北京化工大学,化工过程机械,2013,硕士.
[10]李涛.电力行业垄断的法律规制问题研究[D].苏州大学,法律,2012,硕士.
[11]梁海东.长春锅炉仪表有限公司生产物流系统优化研究[D].吉林大学,管理科学与工程,2013,硕士.
[12]苏广宁,张沛超,胡炎,严正.基于多源信息的电网故障诊断新方法[J].电力系统自动化,2012,01:61-65.
[13]吴良华.幽门螺杆菌感染与成人慢性免疫性血小板减少症的临床相关性研究[D].遵义医学院,内科学（专业型学位）,2012,硕士.
[14]毛志宏.幼儿“心理理论”的发展及其与同伴接纳、社会行为的关系研究[D].陕西师范大学,基础心理学,2004,硕士.
[15]金佥.偶联剂、颗粒尺寸与制备磁场对磁流变弹性体磁流变性能的影响研究[D].西南交通大学,材料科学与工程,2014,硕士.
[16]孙猛,吴宗之,张宏元.危险化学品公路运输事故原因分析与对策[J].中国安全科学学报.2003(08)
[17]周四新,张祖平,陈松乔.一种基于SPRINT的判定树分类算法[J].信息技术,2004,05:13-16.
[18]张莉.社区教育的民间组织负责人胜任力研究[D].宁波大学,课程与教学论,2014,硕士.
[19]黄海涛.探究水彩本体语言及发展[D].沈阳师范大学,美术学,2014,硕士.
[20]陈佳.产谷氨酰胺转胺酶茂原链轮丝菌的诱变选育[D].华东师范大学,生物化学与分子生物学,2013,硕士.
[21]张蕊.新型盗窃罪疑难问题研究[D].内蒙古大学,法律,2013,硕士.
[22]唐娟.定湘王信仰的起源及其在新疆地区传播研究[D].新疆大学,专门史,2013,硕士.
[23]冯宏佳,李健,耿延松.大功率交流调速系统在某舰炮上的应用[J].一重技术.2002(Z1)
[24]胡娟.路面液压发电装置中蓄能器性能研究[D].内蒙古科技大学,机械设计及理论,2014,硕士.
[25]周傲英,凌波.Peer-to-Peer系统及其应用[A].中国计算机学会数据库专业委员会.第十九届全国数据库学术会议论文集（研究报告篇）[C].中国计算机学会数据库专业委员会:,2002:4.
[26]裴佳乐.舟山群岛新区建设背景下嵊泗县旅游发展研究[D].宁波大学,政府管理（专业学位）,2013,硕士.
[27]郭希娟,张涛,奚风丰.一种共轴混联机构的运动学分析[J].机械工程学报.
[28]龙婧.隆基泰和有限公司房地产开发业务的税收筹划方案研究[D].兰州大学,会计（专业学位）,2013,硕士.
[29]靳继凯.转多基因水稻耐盐株系鉴定与评价[D].宁夏大学,生物化学与分子生物学,2014,硕士.
[30]初文涛.基于.NET的表单辅助设计及管理系统的设计与实现[D].大连理工大学,机械工程（专业学位）,2013,硕士.
[31]徐腾飞.印尼贯穿流在热带印太气候季节到年际变化中的作用[D].中国科学院研究生院（海洋研究所）,物理海洋学,2014,博士.
[32]张丹慧.基于银纳米材料的制备及性能研究[D].南京理工大学,2011.
[33]杨成义.基于模糊Petri网的协商研讨共识分析方法[D].湖北工业大学,计算机应用技术,2013,硕士.
[34]王域玲.初查结肠镜阴性人群结直肠肿瘤发生风险研究[D].第二军医大学,内科学（专业学位）,2013,硕士.
[35]田素川.裂隙岩体注浆浆液扩散规律研究[D].中国矿业大学,采矿工程,2014,硕士.
[36]任爱华.我国农村工业化与城镇化协调发展对策研究[D].河北农业大学,农业经济管理,2004,硕士.
[37]赵秀峰.高压断路器标准信号发生仪的研究[D].河北工业大学,控制科学与工程,2013,硕士.
[38]陈海斌.上市公司盈余管理与组合治理博弈分析及相关实证研究[D].上海交通大学,工商管理,2013,硕士.
[39]邹佳天.高兹生态学马克思主义思想研究[D].湖南师范大学,马克思主义基本原理,2014,硕士.
[40]刘辉,刘玉贵,张权利.实时IP传真纠错协议UDPTL的应用[J].现代电信科技.2002(08)
[41]籍多发.二维各向同性介质中波动问题时域边界元法研究[D].哈尔滨工业大学,岩土工程,2013,硕士.
[42]刘阳.企业并购重组中的财务估值[D].东北大学,工商管理,2009,硕士.
[43]吕红燕.基于网络多层结构的WEB日志挖掘研究[D].汕头大学,2003.
[44]靳守杰.城市轨道交通综合自动化系统研究[J].城市轨道交通研究.2007(05)
[45]单作民.校企合作背景下高职学生管理制度变革研究[D].南京师范大学,教育领导与管理,2014,博士.
[46]万国平.SMP环境下的多机互联的研究[D].西北工业大学,计算机体系结构,2004,硕士.
[47]王烨丽.磁纳米条中畴壁调控与电流驱动[D].扬州大学,凝聚态物理,2012,硕士.
[48]董蓉,李勃,陈启美.一种视频雨滴检测与消除的方法[J].自动化学报,2013,07:1093-1099.
[49]范佳佳.我国行政监察的制度分析研究[D].华东师范大学,行政管理,2013,硕士.
[50]王红卫.基于WEB的物流信息系统的分析与研究[D].西安理工大学,企业管理,2004,硕士.