面向云计算系统的日志过滤系统的设计与实现

【摘要】在大规模分布式系统中，事件日志对于故障检测与故障定位是一种不可或缺的数据来源。通过分析应用程序的事件日志，可以找出导致系统降级的原因，帮助开发人员和运维更好地进行调试与运营。然而，随着系统规模与应用数量的不断增长，产生的日志数据量也在以势不可挡的速度增长，给数据存储和数据分析都带来了巨大的负担，同时也会影响系统问题诊断的准确性。因此，过滤事件日志便成为日志预处理过程中不可或缺的一个处理步骤，也是日志分析处理领域研究的热点问题。本文在阅读国内外相关文献基础上，依据对真实云计算系统上事件日志的观察，研究了日志过滤技术的基本特点。针对以往日志过滤技术存在的不足，设计并实现了针对云计算系统的事件日志的日志过滤系统。本文的主要工作总结如下：（1）研究了故障预测与根本原因诊断的相关工作，分析了日志过滤与故障预测及根本原因诊断之间的关系，并且讨论了Log-Filter系统实现过程中碰到的问题与涉及到的相关技术。（2）设计并实现了面向云计算系统的事件日志过滤系统Log-Filter。该系统使用Linux内核提供的inotify机制实时收集目标机器上的各种日志数据，并且在日志收集器中实现了事件过滤机制。同时，在服务端实现了基于异常检测算法与文本相似性判断的过滤方法，将日志数据流依据来源（Node）和时间段（Timeinterval）划分为日志区域，取名为实例（以下称为instance），使用基于信息熵的异常检测算法找出最有可能包含异常事件的instance集合。本文还提出了一种基于消息类型的日志文档相似性度量方法，采用该方法找出与异常instance集合最接近的instance集合，最后保存上述两个集合中的日志，删除其他事件日志。（3）利用真实云计算系统中的事件日志对Log-Filter日志过滤系统进行了实验评测，对其数据缩减率进行实验分析。在三种不同规模的集群下，分别对比了不同日志划分时间段和滑动窗口取值大小对数据缩减率的影响，并给出了合理的取值。（4）对在研究与开发Log-Filter日志过滤系统上所做的主要工作进行了总结，并提出了对Log-Filter系统未来工作的几点展望。
【作者】朱宝金；
【导师】周丽；
【作者基本信息】杭州电子科技大学，计算机技术，2014，硕士
【关键词】日志过滤；异常检测；相似度度量；故障预测；

【参考文献】
[1]黄涛海.马克思主义哲学视域下的共产党建设[D].安徽大学,马克思主义哲学,2014,硕士.
[2]许加龙.基于VxWorks的二乘二取二安全产品的设计与实现[D].西安电子科技大学,计算机应用技术,2011,硕士.
[3]郑长凤.许可执行之诉研究[D].西南政法大学,民事诉讼法（专业学位）,2012,硕士.
[4]王雪辉.唐诗中汉代人物形象研究[D].内蒙古大学,中国古代文学,2014,硕士.
[5]杨贵成.强直性脊柱炎驼背畸形的手术治疗及畸形复发的预防[D].山西医科大学,骨科,2003,硕士.
[6]谢义灵.番茄内生细菌种群和数量动态分析及对番茄青枯病菌的拮抗作用研究[D].广西大学,植物病理学,2004,硕士.
[7]余海涛.后武周时代女性政治研究[D].西南大学,中国古代史,2014,硕士.
[8]王静雯.武汉市中心城区住宅容积率对地价的影响规律研究[D].华中师范大学,土地资源管理,2013,硕士.
[9]耿明璐.地里纤恙螨和微红纤恙螨的宿主与环境选择[D].大理学院,病原生物学,2013,硕士.
[10]陈利.统一潮流控制器（UPFC）的运行特性研究与实验[D].广西大学,农业电气化与自动化,2004,硕士.
[11]李伍娥.脂联素对足细胞凋亡的影响及其机制研究[D].福建医科大学,内科学,2014,硕士.
[12]李晓华,傅龙辉,罗龙波,晏寒婷,张波,邱建.220kV主变压器中性点加装隔直电容对零序电量的影响[J].电力系统自动化,2014,01:121-126.
[13]王宜昌,杨辉,郑彬卿.重力资料多层界面的反演效果[J].石油地球物理勘探,1991,03:410.
[14]邢蕊,李根.全球化对城市文化和建筑的影响[J].河北建筑工程学院学报,2014,04:45-47.
[15]祖士明.玄武岩及Kevlar纤维填充式防护结构超高速撞击性能研究[D].哈尔滨工业大学,固体力学,2013,硕士.
[16]郭成.物流信息平台的系统构筑及其技术支撑[J].信息与电脑,2003,06:38-40.
[17]杨秋玉.中国抒情军旅歌曲的演唱特征与情感表达[D].天津音乐学院,音乐（专业学位）,2013,硕士.
[18]党欣欣.基于软硬件协同设计的H.264视频解码核固件研发及FPGA原型验证[D].西北大学,计算机应用技术,2013,硕士.
[19]陈爱玮.关税内生化理论在中国的适用研究[D].复旦大学,国际贸易学,2013,博士.
[20]赵琪.订单融资信用风险评价研究[D].中北大学,技术经济及管理,2014,硕士.
[21]刘红.超级活性炭电极用于电容去离子技术性能研究[D].大连理工大学,2011.
[22]陆锦松,靳云霞,肖顺华.石墨烯/酚醛树脂复合材料的制备及电学性能研究[J].化工新型材料,2014,06:109-111.
[23]吴洁琳.中国上市公司真实盈余管理实证研究[D].北京林业大学,会计学,2013,硕士.
[24]郑雁,李茂宽,王发民.四辊可逆轧机压下装置传动减速机设计[J].一重技术.1998(04)
[25]卢田毅.基于依赖观察矩阵的软件故障定位技术研究[D].大连海事大学,计算机科学与技术,2013,硕士.
[26]潘悦.华癸中慢生根瘤菌7653R效应蛋白NopP的共生功能及蛋白互作研究[D].华中农业大学,微生物学,2014,硕士.
[27]苗馨予.初级对外汉语课堂中体态语应用的调查研究[D].西北大学,汉语国际教育（专业学位）,2014,硕士.
[28]刘妹华.论数字信息时代中标志图形的个性化设计研究[D].湖南师范大学,设计艺术学,2013,硕士.
[29]魏红霞.1949-1972中日民间外交研究[D].南京师范大学,国际政治,2012,硕士.
[30]曹卫刚.不同程度的烫伤应激对Wistar大鼠皮下移植瘤生长的研究[D].南方医科大学,普通（肝胆）外科,2012,硕士.
[31]本报见习记者乔川川.石墨烯产业年度盛会召开6只龙头股或再掀风云[N].证券日报,2014-11-26A03.
[32]栾峦.“共识型”景观规划设计的探讨[D].山东工艺美术学院,设计艺术学,2013,硕士.
[33]王小凤.CDEGS软件在电力系统中的应用[D].浙江大学,2007.
[34]类延辉.大城市边缘型高技术产业开发区城市设计初探[D].西安建筑科技大学,城市规划与设计,2004,硕士.
[35]黄雪菊,郝常明,袁庆伟.提高数据仓库分析速度的方法探析[J].南昌工程学院学报,2005,03:50-52.
[36]秦媛媛.某旅游投资集团的财务治理问题分析[D].西南交通大学,工商管理（专业学位）,2013,硕士.
[37]申玢彦.普通高中教学管理中的问题分析及对策研究[D].湖南师范大学,教育管理,2004,硕士.
[38]王玲.高氧液对急性光气中毒性肺损伤防治作用及机理的实验研究[D].第四军医大学,麻醉学,2004,硕士.
[39]林兆民.五种苔类植物的化学成分及其抗肿瘤活性研究[D].山东大学,天然药物化学,2014,博士.
[40]王勇.论条约在我国国内的适用[D].华东政法学院,国际法学,2003,硕士.
[41]陈瑞生,周德泓,胡明大,吴剑国.行车荷载下大跨度钢筋混凝土楼盖舒适度评价[J].山西建筑,2014,19:37-38.
[42]裴佐蒂.灰盖鬼伞漆酶在毕赤酵母中的异源表达及其酶学特性分析[D].上海海洋大学,生物化学与分子生物学,2013,硕士.
[43]周永涛.A银行专业序列员工激励优化方案研究[D].北方工业大学,工商管理,2014,硕士.
[44]杨希,陈永胜.基于石墨烯膜的全固体柔性超级电容器[A].中国化学会.中国化学会第28届学术年会第4分会场摘要集[C].中国化学会:,2012:1.
[45]庄代波.一种Apriori的改进算法[J].绍兴文理学院学报(自然科学版),2003,03:36-40.
[46]李海涛.森吉米尔轧机用冷轧辊制造工艺的研究[D].河北科技大学,机械工程,2012,硕士.
[47]徐宗.基于网络的智能小车编队研究[D].哈尔滨工业大学,控制科学与工程,2013,硕士.
[48]唐晓光.基于订阅机制的数据共享平台的研究与设计[D].东北石油大学,计算机技术（专业学位）,2013,硕士.
[49]林雄.管壳式换热器的流路性能数值模拟研究[D].华南理工大学,2010.
[50]熊斌,应向贤,陈丽娜,谢丽萍,魏春,汪钊.类芽胞杆菌碱性果胶裂解酶的纯化与酶学性质表征[J].生物加工过程,2013,06:42-46.