基于集群环境的作业管理中间件的研究与实现

【摘要】随着计算机集群技术的飞速发展，集群作业管理系统已成为高性能计算领域的研究热点之一。然而，作业管理系统一般通过命令行方式进行配置和管理，对用户的知识结构和实际操作技能水平要求比较高，存在配置使用复杂、入门较难、容易出错等不足。如何更加方便有效地使用高性能计算资源成为用户和资源提供者共同关心的问题。本文结合“天河一号”超算平台建设中的实际应用课题，着力于研究基于集群环境的作业管理中间件的设计和实现问题，目标是降低用户使用高性能计算资源的门槛，提高资源利用率。本文主要工作有：(1)本文首先研究了集群技术的定义、体系结构和分类，重点分析了“天河一号”超级计算机的硬件和软件系统结构，然后对集群作业管理系统进行了研究，重点研究了SLURM作业调度器的体系结构、优先级计算策略和工作原理。(2)围绕超算平台的运营需求，本文提出了一种基于用户价值的作业优先级调度策略。本文首先介绍了该策略的提出背景，并对用于多准则决策的层次分析方法(AHP)进行了研究，然后设计了相应的用户价值评价指标体系，并运用AHP方法对指标体系中的各因素对应的权重进行分析和求解，最后基于中间件系统对该策略进行实现和实验。实验结果表明，该作业调度策略能在保证系统整体性能情况下，有效减少高价值用户的作业平均等待时间和作业平均周转时间。(3)本文设计和实现了一个基于集群环境的作业管理中间件系统。本文首先分析了中间件系统的功能需求,并对实现过程中所使用的关键技术进行了深入的研究,然后对系统的设计理念和与作业管理相关的数据表结构进行了介绍，最后进行了代码实现。同时本文设计和实现了一种基于模板的CAE软件封装方法—CAE-APT(CAEApplicationPackagingTemplate)。该方法基于XML实现，具有平台无关性，易维护和扩展等优点。作业管理中间件系统已完成原型系统开发，在整个超算集成平台中实现了与门户子系统、集群端子系统的无缝集成，并进行了多次联合测试，运行状况良好。实践结果表明，本文针对集群作业管理系统所作的研究和优化工作,有效地提高了集群系统的作业调度效率和资源利用率,能满足不同价值的用户的资源需求,同时通过集成门户子系统可为用户提供友好的用户操作界面,可有效提高用户工作效率，具有较大的应用价值。
【作者】刘杨兵；
【导师】林亚平；彭一江；
【作者基本信息】湖南大学，软件工程，2014，硕士
【关键词】集群；中间件；作业管理系统；用户价值；层次分析法；SLURM；

【参考文献】
[1]俞花美.生物质炭对环境中阿特拉津的吸附解吸作用及机理研究[D].中国矿业大学（北京）,2014.
[2]桑吉尖措.欧萨格西及其文集研究[D].青海师范大学,中国少数民族语言文学,2012,硕士.
[3]吴声声.电力企业人因安全的研究与应用[D].北京交通大学,2013.
[4]张德政.信息挖掘商业智能之“芯”[N].中国计算机报,2002-05-06.
[5]郭磊.安徽省生产性服务业集聚对城市经济发展影响的行业差异研究[D].西南大学,区域经济学,2014,硕士.
[6]向宗耀.城市管网增压泵站的使用条件[J].城市公用事业.1999(05)
[7]白明明.多智能体系统建模、仿真及工程应用研究[D].西安电子科技大学,模式识别与智能系统,2012,硕士.
[8]程豪,黄磊,刘昌平,谭怒涛.基于笔画和Adaboost的两层视频文字定位算法[J].自动化学报,2008,10:1312-1318.
[9]宋优男.改良型ZnO光催化剂的制备及其光催化降解抗生素废水的研究[D].长安大学,2013.
[10]蔺琳.辱虐管理对企业环境绩效的影响机制研究[D].西南财经大学,人力资源管理,2014,博士.
[11]张鲁男.P&G济南分销商web报表生成系统的设计与实现[D].山东大学,软件工程（专业学位）,2013,硕士.
[12]郑清晓.中信银行泉州分行对公客户经理绩效考核机制研究[D].华侨大学,工商管理（专业学位）,2014,硕士.
[13]朱英杰.药用植物基因资源的生物信息学研究[D].北京协和医学院,生药学,2014,博士.
[14]马迎红.益气化瘀方预防子宫内膜异位症术后复发的临床研究[D].湖北中医药大学,中医妇科学（专业学位）,2013,硕士.
[15]王铁.高中地理研究性学习系统的理论探索和调查研究[D].曲阜师范大学,课程与教学论,2004,硕士.
[16]廖最梅.茵陈五苓散对非酒精性脂肪性肝病胰岛素抵抗与炎症的研究[D].广州中医药大学,中医学（专业学位）,2013,硕士.
[17]赵新军,王绪国,周曦.基于六西格玛理论的炼钢厂数据挖掘和应用[J].冶金设备,2004,05:1-4.
[18]崔聪聪.中国土地发展权价格评估与流转研究[D].青岛大学,人口、资源与环境经济学,2013,硕士.
[19]孙琳.消费文化视角下传统风貌商业步行街研究[D].北方工业大学,建筑设计及其理论,2014,硕士.
[20]刘爱波.壳聚糖及壳聚糖—酵母多糖复合微球抗大鼠PCP的研究[D].重庆医科大学,病原生物学,2014,博士.
[21]范文博.论日本动漫的发展对中国动漫行业的提示[D].东北师范大学,设计艺术学,2012,硕士.
[22]杨煜麒.自媒体时代下政府信息公开研究[D].中南民族大学,行政管理,2013,硕士.
[23]庞观松.基于文本分类技术的微博平台潜在客户挖掘[D].广东外语外贸大学,企业管理,2013,硕士.
[24]张晓霞.环境污染侵权民事举证责任完善研究[D].内蒙古大学,法律,2013,硕士.
[25]高尚,韩斌,吴小俊,杨静宇.求解旅行商问题的混合粒子群优化算法[J].控制与决策,2004,11:1286-1289.
[26]黄溢民.新型锂吸附剂的性能及碳酸锂提纯的研究[D].成都理工大学,化学工程,2013,硕士.
[27]赵红.《可持续发展旅游会议科克投标文件》翻译实践报告[D].曲阜师范大学,翻译（专业学位）,2013,硕士.
[28]吴建华.论马克思主义宗教观教育的内容、原则、途径和方法[D].新疆师范大学,宗教学,2004,硕士.
[29]施宇.不同体重的患者使用气垫床翻身时间间隔的差异性研究[D].吉林大学,护理学,2013,硕士.
[30]褚艳萍.平井宜雄的法律论证理论研究[D].山东大学,法学理论,2013,硕士.
[31]霍然.建筑物区分所有权共有部分法律问题研究[D].吉林大学,法律,2013,硕士.
[32]陈振彩.任务调制的大脑偏侧化认知控制加工[D].西南大学,基础心理学,2013,硕士.
[33]李旭日.HPV、p16、Rb与宫颈癌的相关性研究[D].青岛大学,妇产科,2004,硕士.
[34]施水才.信息检索的核心支撑技术[J].中国计算机用户,2003,29:51.
[35]蔡茜.基于Web挖掘的个性化教学系统研究与设计[D].吉林大学,电子与通信工程,2012,硕士.
[36]张浩.噪声相关多源信息系统的微卡尔曼滤波融合与相对组合导航算法研究[D].杭州电子科技大学,计算机软件与理论,2011,硕士.
[37]关亮.大型离心压缩机半开式叶轮级内瞬态气动特性研究[D].大连理工大学,动力机械及工程,2013,硕士.
[38]郑燚.淋巴细胞趋化因子(XCL1)在COPD小鼠模型肺组织中的表达及其与CD4~+、CD8~+T淋巴细胞、IL-2的相关性分析[D].遵义医学院,内科学（专业学位）,2014,硕士.
[39]杨帆.超小型雷达侦察终端及其信号处理技术[D].西安电子科技大学,电路与系统,2011,硕士.
[40]唐文荟.原型范畴理论下的英语委婉语研究[D].西南大学,英语语言文学,2014,硕士.
[41]陈建勇.非球面塑料透镜注射压缩模具与成型工艺仿真[D].大连理工大学,机械制造及其自动化,2013,硕士.
[42]占小琴.淀粉样多肽Aβ40调节小脑颗粒细胞GABA_Aα6表达的机制及发育成熟的研究[D].复旦大学,生物物理学,2013,博士.
[43]王宇楠.我国第三方物流市场结构和竞争策略研究[D].大连海事大学,交通运输规划与管理,2004,硕士.
[44]黎佳澄.中学英语教师的语法教学信念和课堂实践研究[D].西南大学,外国语言学及应用语言学,2014,硕士.
[45]李永国.密码算法的安全性及电子交易系统中安全机制的研究[D].燕山大学,电路与系统,2003,硕士.
[46]张鑫.磺化丙酮甲醛缩聚物（SAF）的合成与改性研究[D].济南大学,化学工程,2012,硕士.
[47]王本吉.运算放大器构成的高速模数转换器[J].石油地球物理勘探,1984,05:477-483.
[48]杨光华,程卫东,郭松.MMS性能测试系统及测试方法[J].电信网技术.2006(02)
[49]代彬海.基于Android的高中语文移动微型学习系统的设计与开发[D].湖南师范大学,教育技术学,2014,硕士.
[50]董欣然.见索即付保函在国际贸易中的风险及防范[D].安徽大学,国际商务,2014,硕士.