基于数据整合的网络安全状态分析的研究与实现
|
摘要
网络安全是网络时代研究的热点问题之一。而对安全数据进行有效分析是安全领域和安全解决方案的核心和基础。本文针对骨干网络安全事件数量非常大的特点,提出基于分页思想对数据进行整合并提取各种数据特征模式、从而对网络安全状况的现状作出正常与否的判断,并对其发展趋势作出预测。
考虑到数据分析处理需求的不确定性和复杂性,本文设计提出基于LAMP架构的安全数据处理系统atanasis,以web服务的方式对外提供数据分析查询功能。
本文采用理论研究与工程实践相结合的研究方法,主要工作有:
(1)在综合分析常见安全问题的基础上,对当前主要安全解决方案进行了深入对比研究,总结出安全解决方案的核心问题是数据处理;
(2)研究了利用数据分页技术整合海量安全数据的相关问题;在分页数据的基础上,提取各个分页印章(统计分布特征)以加快数据分析查询;然后研究了对数据分页的整合技术、以提高对跨页查询处理的支持;之后还分析提取了若干数据特征模式。
(3)研究分析了采用分布式数据集群服务器架构以有效平衡数据查询负载、提高平均查询响应时间的问题,并且对数据查询任务在集群服务器之间的调度算法进行了重点研究,提出了Double-Robin调度算法;最后还研究了任务完整性控制协议。
(4)研究实现了基于LAMP机制的原型系统,该原型系统对数据的录入、数据维护都作了相应处理;最后对原型系统进行了若干测试,并给出了结论。
本文的原型系统在某部的网络中得到了应用,通过对某部网络出口安全事件数据的分析得到了良好的效果。应用结果表明文中所做工作较好解决了兼容异构数据和高效数据查询等问题,所设计的系统框架具有良好的可扩展性和通用性,为公网安全与预警项目奠定了扎实的应用基础。
As the development of the network technology, security issue becomes one of the most important problems in the field. And the effective data manipulation lays the basics of all the security settlements.
In order to process large a mount of security data filtered from the network, the method of data paging is used. Also, data integrate and pattern process is conducted based on it. With data paging, the data analysis to gather network situation and security trend can be well achieved.
But the requirements of data analysis is not so obviously decided, the system named atanasis with LAMP structure is adopted. The system provides its data analysis function as web service.
The paper is conducted in the process of the coding work, as follows:
1. After deeply comparing the several different network security settlements, it gets to the major problem of data processing;
2. The paging idea is thoroughly introduced with its according details. It also focuses on the page stamp evaluation and page integration.
3. It introduced the multi-server framework to keep the data query load in balance. And with the task dispatching algorithm analysis, it also gets to the more adaptive Double-Robin dispatching algorithm as well as the task integration control protocol.
4. The prototype with LAMP kernel structure is created. And with this framework, both the data loading and data management are optimized. Also, there are test in the end.
The system has met it application in the real network environment. With the analysis of the security data from the network outcome, it shows a good effectiveness and performs well in data compatibility and fast data query, as well as the sound usability. And most important of all, it lays the extensible basics for the project of "Common Network Security and Alarming".
考虑到数据分析处理需求的不确定性和复杂性,本文设计提出基于LAMP架构的安全数据处理系统atanasis,以web服务的方式对外提供数据分析查询功能。
本文采用理论研究与工程实践相结合的研究方法,主要工作有:
(1)在综合分析常见安全问题的基础上,对当前主要安全解决方案进行了深入对比研究,总结出安全解决方案的核心问题是数据处理;
(2)研究了利用数据分页技术整合海量安全数据的相关问题;在分页数据的基础上,提取各个分页印章(统计分布特征)以加快数据分析查询;然后研究了对数据分页的整合技术、以提高对跨页查询处理的支持;之后还分析提取了若干数据特征模式。
(3)研究分析了采用分布式数据集群服务器架构以有效平衡数据查询负载、提高平均查询响应时间的问题,并且对数据查询任务在集群服务器之间的调度算法进行了重点研究,提出了Double-Robin调度算法;最后还研究了任务完整性控制协议。
(4)研究实现了基于LAMP机制的原型系统,该原型系统对数据的录入、数据维护都作了相应处理;最后对原型系统进行了若干测试,并给出了结论。
本文的原型系统在某部的网络中得到了应用,通过对某部网络出口安全事件数据的分析得到了良好的效果。应用结果表明文中所做工作较好解决了兼容异构数据和高效数据查询等问题,所设计的系统框架具有良好的可扩展性和通用性,为公网安全与预警项目奠定了扎实的应用基础。
As the development of the network technology, security issue becomes one of the most important problems in the field. And the effective data manipulation lays the basics of all the security settlements.
In order to process large a mount of security data filtered from the network, the method of data paging is used. Also, data integrate and pattern process is conducted based on it. With data paging, the data analysis to gather network situation and security trend can be well achieved.
But the requirements of data analysis is not so obviously decided, the system named atanasis with LAMP structure is adopted. The system provides its data analysis function as web service.
The paper is conducted in the process of the coding work, as follows:
1. After deeply comparing the several different network security settlements, it gets to the major problem of data processing;
2. The paging idea is thoroughly introduced with its according details. It also focuses on the page stamp evaluation and page integration.
3. It introduced the multi-server framework to keep the data query load in balance. And with the task dispatching algorithm analysis, it also gets to the more adaptive Double-Robin dispatching algorithm as well as the task integration control protocol.
4. The prototype with LAMP kernel structure is created. And with this framework, both the data loading and data management are optimized. Also, there are test in the end.
The system has met it application in the real network environment. With the analysis of the security data from the network outcome, it shows a good effectiveness and performs well in data compatibility and fast data query, as well as the sound usability. And most important of all, it lays the extensible basics for the project of "Common Network Security and Alarming".
引文
[1]何德全,国内外信息安全积极防御战略,我国国家信息安全战略高级研讨会,2001.11
[2]Don Parker,TCP/IP Skills for Security Analysts,SecurityFocus,2004年6月.
[3]赵战生,信息安全体系结构的思考,2001信息安全体系学术研讨会,2001.10
[4]Eric Hacker,Data Mining IDS Detection,SecurityFocus,2000年9月.
[5]沈昌祥,信息安全防范须从源头控制,2003中国网络安全解决方案评测发布会暨第二届网络安全应用高峰论坛,2003
[6]Daniel Hartmeier,Design and Performance of OpenBSD Stateful Packet Filter(pf),The OpenBSD Project.
[7]Jeffrey O.Kephart、Steve R.White,Directed-Graph Epidemiological Models of Computer Viruses,Proceedings of the 1991 IEEE Computer Society Symposium on Research in Security and Privacy,Oakland,California,1991年5月.
[8]Jeffrey O.Kephart,Steve R.White,Measuring and modeling computer virus prevalence,In Proceedings of the 1993 IEEE Computer Society Symposium on Research in Security and Privacy,1993年5月.
[9]鲁丰,蠕虫传播流量模拟系统研究与实现,浙江大学,2005年.
[10]郑辉、高卓、涂奉生,Internet蠕虫传播统计特性分析,中图法分类号TP393.
[11]李汉南、吴伯桥、刘雪飞,基于EWMA技术检测dos攻击的新方法,计算机技术及应用进展,2004年.
[12]吕铭,基于网络对称性的ddos动态防御技术的研究与实现,北京航空航天大学,2004年.
[13]李菲,铁铃,管理信息建模方法的研究与设计,信息安全与通信保密,2003,11,pp.62-65
[14]Denning D E,An Intrusion-Detection Model,IEEE Symp on Security & Privacy,1986年.
[15]张海锋,入侵检测系统研究,海军航空工程学院.
[16]陈华胜,基于数据挖掘的入侵检测系统的研究,武汉理工大学,2004年.
[17]聂元铭,丘平编著.网络信息安全技术.科学出版社,北京,2001.2
[18]宋舜宏,大规则集与Linux防火墙的优化,中国科学技术大学,2005年.
[19]曹科,嵌入式NAT网关的设计与实现,中国科学院成都计算机应用研究所,2005年.
[20]Anderson J P,Computer Security Threat Monitoring and Surveillance,PA 19034,USA,1980年4月.
[21]Brian Wotring,Host Integrity Monitoring:Best Practices for Deployment,SecurityFocus,2004年3月.
[22]常辉辉,利用对审计日志的关联规则挖掘进行入侵检测的研究,北京科技大学,2005年.
[23]沈琦,基于数据挖掘的IDS分析器研究,武汉理工大学,2005年.
[24]杨瑞,基于数据挖掘的内部入侵检测技术及应用研究,北京航空航天大学,2004年.
[25]桂春梅,安全管理模型的研究与实现,国防科技大学研究生院,2003.11
[26]周斌,铁铃,李萍.基于CIM事件模型的网络管理系统事件机制的实现,信息安全与通信保密,2004,pp.37-39
[27]Common Object Request Broker Architecture.Object Management Group(OMG),Revision 3.0,http://www.omg.org/technology/documents/spec_catalog.htm
[28]Distributed Management Task Force.Common Information Model(CIM)Version 2.2Specification.June,1999,http://www.dmtf.org/standards/cim spec v22/
[29]刘建斌,并行分布环境下动态任务调度方法的设计,天津大学,2001年.
[30]IATF Release 3.0.Information Assurance Technical Framework.National Security Agency,etc.September,2000
[31]肖道举,刘辉宇,周开锋,陈晓苏.基于插件技术的网络安全管理架构研究.华中科技大学学报,2002,4
[2]Don Parker,TCP/IP Skills for Security Analysts,SecurityFocus,2004年6月.
[3]赵战生,信息安全体系结构的思考,2001信息安全体系学术研讨会,2001.10
[4]Eric Hacker,Data Mining IDS Detection,SecurityFocus,2000年9月.
[5]沈昌祥,信息安全防范须从源头控制,2003中国网络安全解决方案评测发布会暨第二届网络安全应用高峰论坛,2003
[6]Daniel Hartmeier,Design and Performance of OpenBSD Stateful Packet Filter(pf),The OpenBSD Project.
[7]Jeffrey O.Kephart、Steve R.White,Directed-Graph Epidemiological Models of Computer Viruses,Proceedings of the 1991 IEEE Computer Society Symposium on Research in Security and Privacy,Oakland,California,1991年5月.
[8]Jeffrey O.Kephart,Steve R.White,Measuring and modeling computer virus prevalence,In Proceedings of the 1993 IEEE Computer Society Symposium on Research in Security and Privacy,1993年5月.
[9]鲁丰,蠕虫传播流量模拟系统研究与实现,浙江大学,2005年.
[10]郑辉、高卓、涂奉生,Internet蠕虫传播统计特性分析,中图法分类号TP393.
[11]李汉南、吴伯桥、刘雪飞,基于EWMA技术检测dos攻击的新方法,计算机技术及应用进展,2004年.
[12]吕铭,基于网络对称性的ddos动态防御技术的研究与实现,北京航空航天大学,2004年.
[13]李菲,铁铃,管理信息建模方法的研究与设计,信息安全与通信保密,2003,11,pp.62-65
[14]Denning D E,An Intrusion-Detection Model,IEEE Symp on Security & Privacy,1986年.
[15]张海锋,入侵检测系统研究,海军航空工程学院.
[16]陈华胜,基于数据挖掘的入侵检测系统的研究,武汉理工大学,2004年.
[17]聂元铭,丘平编著.网络信息安全技术.科学出版社,北京,2001.2
[18]宋舜宏,大规则集与Linux防火墙的优化,中国科学技术大学,2005年.
[19]曹科,嵌入式NAT网关的设计与实现,中国科学院成都计算机应用研究所,2005年.
[20]Anderson J P,Computer Security Threat Monitoring and Surveillance,PA 19034,USA,1980年4月.
[21]Brian Wotring,Host Integrity Monitoring:Best Practices for Deployment,SecurityFocus,2004年3月.
[22]常辉辉,利用对审计日志的关联规则挖掘进行入侵检测的研究,北京科技大学,2005年.
[23]沈琦,基于数据挖掘的IDS分析器研究,武汉理工大学,2005年.
[24]杨瑞,基于数据挖掘的内部入侵检测技术及应用研究,北京航空航天大学,2004年.
[25]桂春梅,安全管理模型的研究与实现,国防科技大学研究生院,2003.11
[26]周斌,铁铃,李萍.基于CIM事件模型的网络管理系统事件机制的实现,信息安全与通信保密,2004,pp.37-39
[27]Common Object Request Broker Architecture.Object Management Group(OMG),Revision 3.0,http://www.omg.org/technology/documents/spec_catalog.htm
[28]Distributed Management Task Force.Common Information Model(CIM)Version 2.2Specification.June,1999,http://www.dmtf.org/standards/cim spec v22/
[29]刘建斌,并行分布环境下动态任务调度方法的设计,天津大学,2001年.
[30]IATF Release 3.0.Information Assurance Technical Framework.National Security Agency,etc.September,2000
[31]肖道举,刘辉宇,周开锋,陈晓苏.基于插件技术的网络安全管理架构研究.华中科技大学学报,2002,4