基于分布式系统的智能信息通信机房监测数据平台研究

详细信息    查看官网全文

• 论文作者：吴维农 ; 唐夲 ; 肖静薇 ; 谢本建 ; 徐平
• 年：2016
• 作者机构：国网重庆市电力公司信息通信分公司;深圳艺朴露科技有限公司;
• 论文关键词：分布式 ; 大数据 ; HDFS ; MapReduce
• 会议召开时间：2016-06-25
• 会议录名称：2016智能电网发展研讨会论文集
• 语种：中文
• 分类号：TN80;TP311.13
• 学会代码：HDJS
• 会议名称：2016智能电网发展研讨会
• 会议地点：中国北京
• 主办单位：中国电力科学研究院
• 学会名称：北京市海淀区太极计算机培训中心
• 页数：5
• 文件大小：726k
• 原文格式：O
• 会议级别：全国

摘要

随着互联网行业的高速发展,各个行业的大数据研究呈井喷式发展,信息通信机房的服务器和设备规模不断增加,产生了海量、种类繁多的监测数据。如何对监测数据进行高效分析,提升机房监测的智能化和规范化,需要使用成熟的大数据分析工具,建立高效的数据分析平台。在介绍Hadoop分布式系统基础上,提出了一个基于Hadoop的智能机房监测大数据分析平台。平台使用HDFS来对数据进行存储和传送,使用MapReduce框架实现数据的并行化处理,创新性的应用combine模型提升数据并行处理的性能。实验部署表明,框架能够有效的对智能信息通信机房的监测数据分析,并以图形化的方式在Web端和移动终端上展现,体现出较高的性能和效率。

引文

[1]O'Driscoll A,Daugelaite J,Sleator R D."Big data",Hadoop and cloud computing in genomics[J].Journal of Biomedical Informatics,2013,46(5):774-81
    [2]彭小圣,邓迪元,程时杰,等.面向智能电网应用的电力大数据关键技术[J].中国电机工程学报,2015(3):503-511.
    [3]许春玲,张广泉.分布式文件系统Hadoop HDFS与传统文件系统Linux FS的比较与分析[J].苏州大学学报:工科版,2010,30(4):5-9.
    [4]衡星辰,周力.分布式技术在电力大数据高性能处理中的应用[J].电力信息与通信技术,2013,11(9):40-43.
    [5]杨德胜,陈江江,张明.电力大数据高速存储及检索关键技术研究与应用[J].电子测试,2014(3):62-63.
    [6]黄晓云.基于HDFS的云存储服务系统研究[J].大连:大连海事大学,2010.
    [7]Dean J,Ghemawat S.MapReduce:Simplified Data Processing on large clusters[J].Communications of the ACM,2008,51(1):107-113.
    [8]孟小峰,慈祥.大数据管理:概念、技术与挑战[J].计算机研究与发展,2013,50(1):146-169.
    [9]Huang Tzuchi,Chu Kuochih,Lee Weitsong,et al.Adaptive combiner for MapReduce on cloud computing[J].Cluster Computing,17(4):1231-1252.
    [10]贾欧阳,阮树骅,田兴,等.MapReduce中Combine优化机制的利用[J].计算机时代,2013(9):1-4.