铁通业务监控平台数据采集系统的设计与实现
|
摘要
中国铁通北京分公司由于设备多、品牌杂、人手少的原因,存在设备监控效率低下的问题,而监控平台具有体积小,稳定性高,可扩展性强,可适用于多平台等优点,具有很高的IT运维管理价值,非常适合提高铁通设备的有效监控能力。
本文主要是通过Agent-server模式来实现数据采集功能,从而实现设备监控。Agent是轻量级代理服务程序,被部署在单独代理服务器上,用于接收Server的数据采集需求,并为Server提供采集数据。Server是该业务监控平台的核心管理模块,被部署在被监控的服务器上,通过收集Agent采集的被监控对象的运行时数据,并将这些数据转换成统一的模型数据,进行必要的计算、汇总,以及规则计算后存储,从而实现对IT资源的事件管理、性能管理。
本文重点围绕Windows下的采集系统进行设计和说明。首先对于整个监控平台及数据采集系统的构架进行了设计,在此基础上对于数据采集系统的各个组成模块进行了详细的说明,并为此设计了多个数据采集程序,同时采用Python这个目前使用非常普遍的网络开发语言进行了实现,提供了对应的源代码。最后,根据铁通公司的实际业务情况,对于数据采集系统进行了网络配置,在程序的单元测试时,采用白盒法进行测试。同时根据测试结果,从功能、安全性、数据一致性等方面评估了该数据采集系统,发现测试结果基本达到了期望,对于提高铁通的监控效率具有较大的帮助。
Because of lots of equipments, miscellaneous brand and less manpower in China Tietong Beijing Branch, there is the problem of low efficiency in equipment monitoring, then monitoring and control platform has the characters, such as small size, high stability, scalability and suitable for multi-platform, etc, so it has high value in IT operation and is very adapted for improving efficient about monitor and control.
This article mainly realizes data acquisition through the Agent-server mode for monitoring equipments. Agent is a lightweight proxy service program and is deployed on separate proxy server to receive data collection needs of the server and provide collected data. Server is the core of the business management module of this monitoring and control platform, it is deployed on the server being monitoring, Through collecting real-time data of object being monitoring that is gathered by Agent, the Server transforms these data into unified model data and perform necessary calculations, summary and store, then achieve event management and performance management for IT resource.
This article focuses on the collection system design in windows. Firstly, the whole frame of monitoring and control platform and data collection system are design, on the basis of the frame various components of data collection system is described in detail, furthermore, several data collection procedures are designed and realized by Python that is very popular network development language. Finally, according to the actual business situation, network configuration of data collection system is realized for testing the system, White-box method is utilized when unit test for Procedure, then according to test results of functionality, security and data consistency, the data collection system are evaluated. From the evaluated result, the system basic meets expectations and has a large help for improving the efficiency.
本文主要是通过Agent-server模式来实现数据采集功能,从而实现设备监控。Agent是轻量级代理服务程序,被部署在单独代理服务器上,用于接收Server的数据采集需求,并为Server提供采集数据。Server是该业务监控平台的核心管理模块,被部署在被监控的服务器上,通过收集Agent采集的被监控对象的运行时数据,并将这些数据转换成统一的模型数据,进行必要的计算、汇总,以及规则计算后存储,从而实现对IT资源的事件管理、性能管理。
本文重点围绕Windows下的采集系统进行设计和说明。首先对于整个监控平台及数据采集系统的构架进行了设计,在此基础上对于数据采集系统的各个组成模块进行了详细的说明,并为此设计了多个数据采集程序,同时采用Python这个目前使用非常普遍的网络开发语言进行了实现,提供了对应的源代码。最后,根据铁通公司的实际业务情况,对于数据采集系统进行了网络配置,在程序的单元测试时,采用白盒法进行测试。同时根据测试结果,从功能、安全性、数据一致性等方面评估了该数据采集系统,发现测试结果基本达到了期望,对于提高铁通的监控效率具有较大的帮助。
Because of lots of equipments, miscellaneous brand and less manpower in China Tietong Beijing Branch, there is the problem of low efficiency in equipment monitoring, then monitoring and control platform has the characters, such as small size, high stability, scalability and suitable for multi-platform, etc, so it has high value in IT operation and is very adapted for improving efficient about monitor and control.
This article mainly realizes data acquisition through the Agent-server mode for monitoring equipments. Agent is a lightweight proxy service program and is deployed on separate proxy server to receive data collection needs of the server and provide collected data. Server is the core of the business management module of this monitoring and control platform, it is deployed on the server being monitoring, Through collecting real-time data of object being monitoring that is gathered by Agent, the Server transforms these data into unified model data and perform necessary calculations, summary and store, then achieve event management and performance management for IT resource.
This article focuses on the collection system design in windows. Firstly, the whole frame of monitoring and control platform and data collection system are design, on the basis of the frame various components of data collection system is described in detail, furthermore, several data collection procedures are designed and realized by Python that is very popular network development language. Finally, according to the actual business situation, network configuration of data collection system is realized for testing the system, White-box method is utilized when unit test for Procedure, then according to test results of functionality, security and data consistency, the data collection system are evaluated. From the evaluated result, the system basic meets expectations and has a large help for improving the efficiency.
引文
[1]杜雅杉.Agent技术及其应用综述[J].科技信息(学术版),2008,29(4)：211-212.
[2]郭峰,张萌.基于UML的多agent系统软件体系结构建模研究[J].计算机应用研究,2009,9(2)：22-25.
[3]陈坤,邓贵仕.智能教学系统的多Agent模型体系构建[A].见：张嗣瀛、王福利.2006中国控制与决策学术年会论文集[C].天津：《控制与决策》编辑部,2006：16-19.
[4]周宏.基于ITSM的湖南省”金财工程”IT运维系统框架设计[J],金融经济(理论版),2009,11(3)：28-31.
[5]李伟,王倩.基于Multi-Agent的分布式电力监控系统体系结构[A].见：中国高等学校电力系统及其自动化专业委员会.中国高等学校电力系统及其自动化专业第二十三届学术年会会刊.合肥：合肥工业大学出版社,2007：15-21.
[6]肖诗松,熊磊,徐艳,赵志霞.基于Web Service与多Agent的XML/SNMP网关设计与实现[A].见：中国通信学会青年工作委员会.第十二届全国青年通信学术会议会刊.北京：北方工业大学出版社2007：106-110.
[7]熊中根,齐德昱.分布式主机监控系统的设计与实现[J].重庆工学院学报(自然科学版),2009,23(12)：77-81.
[8]李生,邓一贵.基于移动代理的分布式入侵检测系统的研究[J].计算机技术与发展,2009,19(9)：132-135.
[9]刘大有,杨鲲,陈建中Agent研究现状与发展趋势[J].软件学报,2000,11(3)：315-321.
[10]杨红颖.一种基于多Agent的远程教学模型框架[J].中国远程教育,2005,(2)：65-69.
[11]孙沛.基于Web的ERP系统的设计与实现[J].科技信息,2010,(10)：26-30.
[12]贾润军.浅析Web Services在企业生产中的应用[J].企业技术开发(下半月),2010,29(10)：24-30.
[13]梁莹.基于多Agent的专利资源协同获取模型研究[J].情报理论与实践,2009,(8)：118-120.
[14]梁万杰.基于多Agent的E-Learning系统设计与实现[J].信息技术,2008,32(9)：28-30.
[15]关向前,王莉,刘彦斌.基于本体的多Agent内容感知通信模式研究[J]. 电脑开发与应用,2010,23(4)：44-46.
[16]冯新宇,陶先平.一种改进的移动Agent通信算法[J].计算机学报,2002,33(4)：357-364.
[17]毛新军.面向Agent的软件工程：现状、挑战与展望[J].计算机科学,2011,38(1)：38-42.
[18]何炎祥,陈莘萌.Agent和多Agent系统的设计与应用[M].武汉：武汉大学出版社,2009：168.
[19]张云勇.移动Agent及其应用[M].北京：清华大学出版社,2002：153.
[20]Bivens A,Gao L,Hulber M, Szymanski, B. Agent-Based Network Monitoring[J] 1999.
[2]郭峰,张萌.基于UML的多agent系统软件体系结构建模研究[J].计算机应用研究,2009,9(2)：22-25.
[3]陈坤,邓贵仕.智能教学系统的多Agent模型体系构建[A].见：张嗣瀛、王福利.2006中国控制与决策学术年会论文集[C].天津：《控制与决策》编辑部,2006：16-19.
[4]周宏.基于ITSM的湖南省”金财工程”IT运维系统框架设计[J],金融经济(理论版),2009,11(3)：28-31.
[5]李伟,王倩.基于Multi-Agent的分布式电力监控系统体系结构[A].见：中国高等学校电力系统及其自动化专业委员会.中国高等学校电力系统及其自动化专业第二十三届学术年会会刊.合肥：合肥工业大学出版社,2007：15-21.
[6]肖诗松,熊磊,徐艳,赵志霞.基于Web Service与多Agent的XML/SNMP网关设计与实现[A].见：中国通信学会青年工作委员会.第十二届全国青年通信学术会议会刊.北京：北方工业大学出版社2007：106-110.
[7]熊中根,齐德昱.分布式主机监控系统的设计与实现[J].重庆工学院学报(自然科学版),2009,23(12)：77-81.
[8]李生,邓一贵.基于移动代理的分布式入侵检测系统的研究[J].计算机技术与发展,2009,19(9)：132-135.
[9]刘大有,杨鲲,陈建中Agent研究现状与发展趋势[J].软件学报,2000,11(3)：315-321.
[10]杨红颖.一种基于多Agent的远程教学模型框架[J].中国远程教育,2005,(2)：65-69.
[11]孙沛.基于Web的ERP系统的设计与实现[J].科技信息,2010,(10)：26-30.
[12]贾润军.浅析Web Services在企业生产中的应用[J].企业技术开发(下半月),2010,29(10)：24-30.
[13]梁莹.基于多Agent的专利资源协同获取模型研究[J].情报理论与实践,2009,(8)：118-120.
[14]梁万杰.基于多Agent的E-Learning系统设计与实现[J].信息技术,2008,32(9)：28-30.
[15]关向前,王莉,刘彦斌.基于本体的多Agent内容感知通信模式研究[J]. 电脑开发与应用,2010,23(4)：44-46.
[16]冯新宇,陶先平.一种改进的移动Agent通信算法[J].计算机学报,2002,33(4)：357-364.
[17]毛新军.面向Agent的软件工程：现状、挑战与展望[J].计算机科学,2011,38(1)：38-42.
[18]何炎祥,陈莘萌.Agent和多Agent系统的设计与应用[M].武汉：武汉大学出版社,2009：168.
[19]张云勇.移动Agent及其应用[M].北京：清华大学出版社,2002：153.
[20]Bivens A,Gao L,Hulber M, Szymanski, B. Agent-Based Network Monitoring[J] 1999.