基于多结构数据立方体的多维分析挖掘模型

【摘要】互联网技术的迅速发展促使现代社会进入到了“网络化社会”的时代。每天互联网上都会产生海量的数据,而以文本数据为代表的以半结构化或非结构化的形式产生和存储的数据占了其中绝大部分。如何科学有效的对这些文本数据进行处理、分析,进而获取其中有价值的信息成为了各大公司和组织亟待解决的问题。为此业界从不同方向进行了探索,其中使用OLAP(联机分析处理)操作对其进行分析挖掘是其中一种可行的研究方向。常规的数据立方体是构建在结构化数据之上的,难以有效的支持非结构化的数据。因此对非结构化数据的立方体构建方法进行研究是具有十分重要意义的。本文以对海量短文本热门主题的分析挖掘任务为研究背景,提出了一种构建文本立方体的方案。该方案在文本立方体的维度获取和度量计算两方面进行了研究：1、结合分布式聚类方法生成文本的主题,进而获得非结构化数据集的主题维度,该方法大大简少了文本立方体维度构建的人工成本。2、提出了一种基于文本TFIDF值的事实表度量单元计算方法,从而允许在文本立方体中应用常规的OLAP计算函数对文本集的主题热度进行度量,无需定义新的度量方法。针对本应用中文本数据集巨大,预处理过程复杂,单机处理效率低下的特点,本文设计并实现了一套基于MapReduce分布式并行计算框架下的预处理方案。实验结果表明,该方法具有较强的实用性和可扩展性,它能够高效的为大规模文本数据集构建立方体模型,在构建的文本立方体上使用OLAP操作进行分析能够有效的挖掘文本数据集中所包含的热门信息,大大提高了文本数据分析挖掘的效率
【作者】张晓杉；
【导师】李睿；
【作者基本信息】兰州理工大学，软件工程，2014，硕士
【关键词】数据立方体；OLAP；文本数据；分布式并行计算；MapReduce；

【参考文献】
[1]温琳,王忠军,袁蕾,贾文文.职业生涯延迟满足对工作绩效、职业生涯成功的影响——工作延迟满足与学习目标定向的作用[J].中国人力资源开发,2014,19:67-73.
[2]伍帅.城市保障性住房公共服务设施设计研究[D].湖南大学,建筑学,2012,硕士.
[3]周传芳.小兴安岭东南部胜利农场地区综合成矿预测[D].中国地质大学（北京）,矿产普查与勘探,2014,硕士.
[4]钱文霞.高管团队特征对商业模式创新的影响研究[D].山东大学,企业管理,2013,硕士.
[5]孟佳.结合葫芦器造型特点的品牌开发与设计研究[D].山东工艺美术学院,艺术设计,2013,硕士.
[6]西格弗里德,布克.在加拿大北极圈内证明了一种新勘探概念[J].石油地球物理勘探,1976,S1:4.
[7]李彦峰.基于虚拟仪器视觉系统实验台架的研究[D].新疆大学,工程力学,2013,硕士.
[8]关丰睿.林蛙油低脂酸奶的研制[D].吉林大学,食品工程,2013,硕士.
[9]马慧然.基于身份的短群签名的方案研究[D].青岛大学,计算机应用技术,2013,硕士.
[10]侯杉杉.化工园区整体风险研究及事故后果预测[D].兰州理工大学,安全工程,2014,硕士.
[11]郭立明.基于变权评估的B/S架构桥梁电子化养护管理系统[D].长安大学,桥梁与隧道工程,2013,硕士.
[12]万熊熊.宽带分数分频频率综合器中电荷泵和分频器设计[D].复旦大学,集成电路工程,2012,硕士.
[13]李主斌.事实、真理与符合[D].复旦大学,科学技术哲学,2013,博士.
[14]刘艳.手枪弹对骨骼复合靶标侵彻作用的数值模拟及力学响应研究[D].南京理工大学,机械设计及理论,2013,硕士.
[15]龚强.东北夏季降水异常的年代际、年际变化特征及其成因分析[D].南京气象学院,气象学,2003,硕士.
[16]陈昕.江苏区域经济差异及协调发展研究[D].河海大学,技术经济及管理,2004,硕士.
[17]杨洪.基于CAN总线的控制系统及应用研究[D].华侨大学,测试计量技术及仪器,2004,硕士.
[18]张亮.船用冷凝器结构强度特性研究[D].哈尔滨工程大学,机械设计及理论,2012,硕士.
[19]刘星宇.XX联通公司客户满意度分析与提升研究[D].山东大学,工商管理（专业学位）,2012,硕士.
[20]马洁璇.框架结构房屋的爆破振动响应[D].兰州理工大学,建筑与土木工程,2014,硕士.
[21]王乙富.南通市城市农业发展现状调查与研究[D].华中师范大学,农村与区域发展,2013,硕士.
[22]王兴科.河南省砂姜黑土与潮土系统分类研究[D].郑州大学,环境工程,2013,硕士.
[23]文灵.会展中心智能化系统规划设计研究[D].大连理工大学,电子通信工程（专业学位）,2013,硕士.
[24]靳晓旭.汉德基本颜色词的文化内涵对比研究[D].沈阳师范大学,课程与教学论,2014,硕士.
[25]李雪琴.离子液体提取分离光甘草定的研究[D].石河子大学,应用化学,2012,硕士.
[26]崔爱英.双峰驼驼乳香皂的制作研究[D].内蒙古农业大学,食品工程,2013,硕士.
[27]刘枝辰,俞腾,谭力.桥梁结构安全健康监测的技术方法探究[J].科技通报,2013,05:87-92.
[28]刘金歌.陇东道情皮影戏研究[D].西北师范大学,文艺学,2013,硕士.
[29]任朝鲜.A公司引进导爆管生产线项目的风险控制研究[D].吉林大学,项目管理,2014,硕士.
[30]黄维一.周期性应力加载对体外培养肌管极性与分化的影响[D].南方医科大学,人体解剖与组织胚胎学,2012,硕士.
[31]王妮.基于单片机的数字式压力测量仪的研究[D].西安科技大学,控制工程,2013,硕士.
[32]王彦梅.某制鞋厂甲苯定点采样和个体采样的关系[D].复旦大学,公共卫生,2012,硕士.
[33]刘强.姜黄素经胰岛素样生长因子-1通路抑制缺氧肝癌HepG2细胞VEGF表达的机制研究[D].厦门大学,外科学,2014,硕士.
[34]买买提明·吾甫.论安乐死在我国的合法化[D].新疆大学,法律,2013,硕士.
[35]吴欣伟.吉大校园移动通信网络投资项目效益研究[D].吉林大学,工商管理,2013,硕士.
[36]陈慧.城镇化进程中城市近郊农村初中生思想品德存在的问题及对策[D].华中师范大学,思想政治教育,2014,硕士.
[37]李瑞宇.石墨烯/铜复合材料的改进分子级混合方法制备、表征及其性能研究[D].哈尔滨工业大学,2013.
[38]戴俊伟.加大截面法加固受弯构件的方法及其受力性能研究[D].西安科技大学,防灾减灾工程及防护工程,2014,硕士.
[39]梁洁.小型水库多元治理的机制研究[D].浙江工商大学,行政管理,2013,硕士.
[40]刘畅.南宁交警TETRA数字集群管理和信息发布系统的设计与实现[D].北京交通大学,2015.
[41]马闯.大学生网络道德建设的现状与推进路径研究[D].吉林财经大学,马克思主义基本原理,2014,硕士.
[42]张静.泽漆、枞酸钠灭螺效应及泽漆对钉螺毒性作用的研究[D].苏州大学,病原生物学,2012,硕士.
[43]颜杭.贵州遵义烟区合作社发展与烟叶生产工作的研究[D].湖南农业大学,烟草,2012,硕士.
[44]王新辉.基于Web的法院综合管理系统的设计与实现[D].中南大学,2004.
[45]冯佳琪.货币政策信贷传导的投资效应及行业差异研究[D].复旦大学,西方经济学,2012,硕士.
[46]邓明春.管理咨询公司的知识管理[D].广西大学,2004.
[47]邵玲.我国特种设备安全监管问题探究[D].吉林大学,公共管理,2014,硕士.
[48]冯润明.基于高层体系结构（HLA）的系统建模与仿真研究[D].国防科学技术大学,2002.
[49]高善群.液体中圆柱转子旋转运动的阻力研究[D].河南科技大学,机械制造及其自动化,2013,硕士.
[50]谭高山张丽艳刘胜兰张涛.基于M-估计的线性化稳健配准算法研究[J].农业机械学报,2015,04:.