网络入侵检测系统研究
|
摘要
本文把网络入侵检测系统作为解决计算机网络安全的一种重要手段。经过数据集的数值化和归一化等预处理后,利用特征提取算法对训练数据集的入侵特征进行提取。在此基础上,重点研究了利用分类和聚类算法实现样本的分类。网络数据包采集和分析系统实现了网络入侵检测系统的自我更新。
本文分析了计算机网络所面临的安全挑战,提出了利用入侵检测系统来解决网络安全问题的方法。然后详细阐述了网络入侵检测系统的概念、体系结构和发展趋势,并把NSL_Data数据集作为网络入侵检测系统的训练和测试样本集。训练样本标准化后,本文对不同模型下的特征提取算法进行研究和比较,采用Relief算法对入侵特征区分样本类别的能力进行评估并根据权值条件选择最优特征子集,实现入侵特征维数的降低。本文采用决策树模型对样本进行分类。基于最小二乘支持向量机的一类分类器能够快速而准确地对正常样本和异常样本进行分类,从而大大降低基于最大距离的多隶属度模糊C均值算法面临的样本压力,实现对异常样本的快速收敛和正确分类。网络数据包采集和分析系统能够根据自定义的策略实时地捕获局域网中的数据包。在对数据包进行分析和信息提取后,将网络连接转变成标准的训练样本存储到数据库中,实现数据库的不断更新和和完整性。每隔一段时间利用数据库中的新样本对入侵检测系统重新进行训练和学习,不断的调整和更新入侵检测系统,使其能够识别新的攻击类别和弥补不足,保证系统的分类准确率。
根据测试数据集的实验表明,基于模糊支持向量机的网络入侵检测系统具有较高的检测效率和精度,能够满足海量数据的实时检测要求。采用Java语言进行开发设计降低了入侵检测系统的平台依赖性。
This paper makes the network intrusion detection system as the most important to insure the safety of internet. After the numerical analysis and normalization, this paper uses all kinds of feature extraction methods to reduce the intrusion dimension. Then it focuses on the classification model and clustering model to divide the samples into different categories. At last it designs a real-time network data acquisition and analysis model to realize the update of itself.
This paper discusses the challenges in the computer safety at present and proposes the network intrusion detection system to solve them. Then the paper introduces the concept, architecture and developing trend of the system in details and makes the data set named NSL_DATA as training and testing data set. After the standardization of data set, this paper proposes the algorithm named Relief to reduce the dimension of intrusion features and the complexity of training data set. According to the ability to distinguish the type of the training samples, it estimates the metric of features and extracts part of features which satisfy conditions to make them as the best feature subset. Using the decision tree model, one-class classification of least squares support vector machine model can distinguish the normal and abnormal training samples quickly and precisely so that it greatly cuts down the data pressure of fuzzy c-means model to effectively improves classification accuracy and convergence of the abnormal samples. The data acquisition and analysis model can seize network data packets in real time to analyze and extract information according to the customize strategy. After that, the model transforms network connections to the standard training data and stores them into the database system to insure the update of itself and integrity so that the network intrusion system can restart another training at regular intervals to adjust and update the intrusion detection system in order to recognize new attacks and make up for the gaps to raise the classification accuracy.
According to the testing data set, experiments show that the network intrusion detection system based on FSVM can satisfy the characters of real-time and huge data and has greatly improved the efficiency and classification accuracy. The system uses Java as the developing language which reduces the platform-dependent.
本文分析了计算机网络所面临的安全挑战,提出了利用入侵检测系统来解决网络安全问题的方法。然后详细阐述了网络入侵检测系统的概念、体系结构和发展趋势,并把NSL_Data数据集作为网络入侵检测系统的训练和测试样本集。训练样本标准化后,本文对不同模型下的特征提取算法进行研究和比较,采用Relief算法对入侵特征区分样本类别的能力进行评估并根据权值条件选择最优特征子集,实现入侵特征维数的降低。本文采用决策树模型对样本进行分类。基于最小二乘支持向量机的一类分类器能够快速而准确地对正常样本和异常样本进行分类,从而大大降低基于最大距离的多隶属度模糊C均值算法面临的样本压力,实现对异常样本的快速收敛和正确分类。网络数据包采集和分析系统能够根据自定义的策略实时地捕获局域网中的数据包。在对数据包进行分析和信息提取后,将网络连接转变成标准的训练样本存储到数据库中,实现数据库的不断更新和和完整性。每隔一段时间利用数据库中的新样本对入侵检测系统重新进行训练和学习,不断的调整和更新入侵检测系统,使其能够识别新的攻击类别和弥补不足,保证系统的分类准确率。
根据测试数据集的实验表明,基于模糊支持向量机的网络入侵检测系统具有较高的检测效率和精度,能够满足海量数据的实时检测要求。采用Java语言进行开发设计降低了入侵检测系统的平台依赖性。
This paper makes the network intrusion detection system as the most important to insure the safety of internet. After the numerical analysis and normalization, this paper uses all kinds of feature extraction methods to reduce the intrusion dimension. Then it focuses on the classification model and clustering model to divide the samples into different categories. At last it designs a real-time network data acquisition and analysis model to realize the update of itself.
This paper discusses the challenges in the computer safety at present and proposes the network intrusion detection system to solve them. Then the paper introduces the concept, architecture and developing trend of the system in details and makes the data set named NSL_DATA as training and testing data set. After the standardization of data set, this paper proposes the algorithm named Relief to reduce the dimension of intrusion features and the complexity of training data set. According to the ability to distinguish the type of the training samples, it estimates the metric of features and extracts part of features which satisfy conditions to make them as the best feature subset. Using the decision tree model, one-class classification of least squares support vector machine model can distinguish the normal and abnormal training samples quickly and precisely so that it greatly cuts down the data pressure of fuzzy c-means model to effectively improves classification accuracy and convergence of the abnormal samples. The data acquisition and analysis model can seize network data packets in real time to analyze and extract information according to the customize strategy. After that, the model transforms network connections to the standard training data and stores them into the database system to insure the update of itself and integrity so that the network intrusion system can restart another training at regular intervals to adjust and update the intrusion detection system in order to recognize new attacks and make up for the gaps to raise the classification accuracy.
According to the testing data set, experiments show that the network intrusion detection system based on FSVM can satisfy the characters of real-time and huge data and has greatly improved the efficiency and classification accuracy. The system uses Java as the developing language which reduces the platform-dependent.
引文
[1]2010中国企业安全报告[S].www.rising.com.cn.2011
[2]龙冬阳.网络安全技术及应用[M].广州：华南理工大学出版社,2006.123-145
[3]宋竞松.网络入侵检测[M].北京：国防工业出版社,2004.87-99
[4]胡昌振.网络入侵检测原理与技术[M].北京：北京理工大学出版社,2006.125-142
[5]A.K.Ghosh,A.Schwartzbard. A study in using neural networks for anomaly and misuse detection[R].Washington:The 8th conference on Symposium,1999:12
[6]姚学礼.专家系统与神经网络在入侵检测中的作用[J].计算机安全技术,2009：95-96
[7]张勇,冯玉才,李华阳.基于状态转换分析的多用户系统入侵检测模型[J].网络安全技术与应用,2003.4：52-54
[8]江瑾.分布式入侵检测系统关键技术研究[D].太原：中北大学,2009
[9]徐图,何大可,邓子健.分布式拒绝服务攻击原理及实验[J].计算机工程与应用,2007,43(29)：146-149
[10]薛强.网络入侵检测系统NIDS的新技术研究[D].天津：天津大学,2004
[11]张勇,张德运,李胜磊.基于分布协作式代理的网络入侵检测技术的研究与实现[J].计算机学报,2001,24(7)：737-741
[12]郑挺,胡华平.入侵检测系统报警信息融合模型的设计与实现[J].计算机应用研究,2004.8：95-98
[13]王秀芳.基于协议分析技术的入侵检测的应用与研究[D].济南：山东科技大学,2005
[14]Mahbod Tavallaee, Ebrahim Bagheri, Wu Lu, Ali A.Ghorbani. A Detailed Analysis of the KDD CUP 99 Data Set[R]. Proceedings of the 2009 IEEE Symposium on Computational Intelligence in Security and Defense Applications
[15]KDD CUP 99 Data Set[S].http://kdd.ies.uci.edu/databases/kddcup99/kddcup99.html.1999
[16]陈友,程学旗,李洋,戴磊.基于特征选择的轻量级入侵检测系统[J].软件学报,2007,18(7)：1639-1651
[17]朱笑荣,杨德运.基于入侵检测的特征提取方法[J].计算机应用与软件,2010,27(6)：30-31
[18]张丽新.高维数据的特征选择及基于特征选择的集成学习研究[D].北京：清华大学,2004
[19]吴艳文,胡学钢,陈效军.基于Relief算法的特征学习聚类[J].合肥学院学报(自然科学版),2008,18(2)：45-48
[20]高海华,杨辉华,王行愚.基于PCA和KPCA特征抽取的SVM网络入侵检测方法[J].华东理工大学学报(自然科学版),2006,32(3)：321-326
[21]薛建中,闫相国,郑崇勋.用核学习算法的意识任务特征提取与分类[J].电子学报,2004,32(10)：1749-1753
[22]刘完芳,黄生叶,常卫东.基于KPCA入侵检测特征提取技术研究[J].微计算机信息,2007,23(3)：81-83
[23]赵锋,张英军.一种KPCA的快速算法[J].控制与决策,2007,22(9)：1044-1048
[24]毛俐旻,姚淑萍,胡昌振.一种新型混合特征选择方法及其在入侵检测中的应用[J].北京理工大学学报,2008,28(3)：218-221
[25]卓高明,林世平.邮件过滤中信息增益方法的改进[J].计算机工程与应用,2006,124-125
[26]乔磊.基于神经网络方法的数据挖掘平台设计和实现[D].成都：电子科技大学,2008
[27]危胜军,胡昌振,姜飞.基于BP神经网络改进算法的入侵检测方法[J].计算机工 程,2005,31(13)：154-158
[28]才轶,徐圆,朱群雄.基于自联想神经网络的数据滤波与应用[J].计算机与应用化学,2009,26(5)：673-676
[29]薛辉,吴跃,刘小双,章毅.采用BP神经网络的通用数据压缩方案[J].微计算机信息,2005,21(12)：179-181
[30]丁卫平.基于BP神经网络改进算法的数据压缩方案[J].湖南理工学院学报(自然科学版),2009,22(4)：35-38
[31]常卫东,刘完芳.基于遗传算法网络入侵检测系统的研究与实现[J].网络安全技术与应用,2004.10：32-34
[32]郝占刚,王正欧.基于模式聚类和遗传算法的文本特征提取方法[J].计算机应用,2005,25(7)：1632-1637
[33]杨洁,郑宁,刘董,罗时贵.基于遗传算法的SVM带权特征和模型参数优化[J].计算机仿真,2008,25(9)：115-117
[34]张跃军,柴乔林,王少娥,王华,刘云璐.利用GA与SVM对NIDS进行关键特征提取[J].计算机工程与应用,2006.34：119-121
[35]林扬,杨贵全,杨立身.基于改进SVM方法的入侵检测[J].计算机工程,2007,33(14)：151-153
[36]张宏财.基于S变换的电能质量扰动分析[D].北京：北京化工大学,2010
[37]谭龙.基于聚类和支持向量机的网络入侵检测[D].秦皇岛：燕山大学,2009
[38]吴海燕.基于支持向量机与模糊推理的系统辨识与控制研究[D].西安：西安理工大学,2006
[39]段丹青,陈松乔,杨卫平.基于SVM主动学习的入侵检测系统[J].计算机工程,2007,33(1)：153-155
[40]绕鲜,董春曦,杨绍全.基于支持向量机的入侵检测系统[J].软件学报,2003,14(4)：798-803
[41]黄双福.基于支持向量机与主动学习的入侵检测[D].安徽：中国科学技术大学,2009
[42]顾燕萍,赵文杰,吴占松.最小二乘支持向量机的算法研究[J].清华大学学报(自然科学版),2010,50(7)：1063-1066
[43]陈健美,宋顺林,陆虎,宋余庆,朱玉全.改进模糊聚类算法及其在入侵检测中的作用[J].东南大学学报(自然科学版),2007,37(4)：589-592
[44]张国锁,周创明,雷英杰.FCM聚类算法及其在入侵检测中的应用[J].计算机应用,2009,29(5)：1336-1338
[45]张雨浓,李克讷,谭宁.中心方差及权值直接确定的RBF神经网络分类器[J].计算技术与自动化,2009,28(3)：5-9
[46]石慧慧.基于JPCAP的网络流量采集监控系统研究与设计[D].南京：南京林业大学,2010
[2]龙冬阳.网络安全技术及应用[M].广州：华南理工大学出版社,2006.123-145
[3]宋竞松.网络入侵检测[M].北京：国防工业出版社,2004.87-99
[4]胡昌振.网络入侵检测原理与技术[M].北京：北京理工大学出版社,2006.125-142
[5]A.K.Ghosh,A.Schwartzbard. A study in using neural networks for anomaly and misuse detection[R].Washington:The 8th conference on Symposium,1999:12
[6]姚学礼.专家系统与神经网络在入侵检测中的作用[J].计算机安全技术,2009：95-96
[7]张勇,冯玉才,李华阳.基于状态转换分析的多用户系统入侵检测模型[J].网络安全技术与应用,2003.4：52-54
[8]江瑾.分布式入侵检测系统关键技术研究[D].太原：中北大学,2009
[9]徐图,何大可,邓子健.分布式拒绝服务攻击原理及实验[J].计算机工程与应用,2007,43(29)：146-149
[10]薛强.网络入侵检测系统NIDS的新技术研究[D].天津：天津大学,2004
[11]张勇,张德运,李胜磊.基于分布协作式代理的网络入侵检测技术的研究与实现[J].计算机学报,2001,24(7)：737-741
[12]郑挺,胡华平.入侵检测系统报警信息融合模型的设计与实现[J].计算机应用研究,2004.8：95-98
[13]王秀芳.基于协议分析技术的入侵检测的应用与研究[D].济南：山东科技大学,2005
[14]Mahbod Tavallaee, Ebrahim Bagheri, Wu Lu, Ali A.Ghorbani. A Detailed Analysis of the KDD CUP 99 Data Set[R]. Proceedings of the 2009 IEEE Symposium on Computational Intelligence in Security and Defense Applications
[15]KDD CUP 99 Data Set[S].http://kdd.ies.uci.edu/databases/kddcup99/kddcup99.html.1999
[16]陈友,程学旗,李洋,戴磊.基于特征选择的轻量级入侵检测系统[J].软件学报,2007,18(7)：1639-1651
[17]朱笑荣,杨德运.基于入侵检测的特征提取方法[J].计算机应用与软件,2010,27(6)：30-31
[18]张丽新.高维数据的特征选择及基于特征选择的集成学习研究[D].北京：清华大学,2004
[19]吴艳文,胡学钢,陈效军.基于Relief算法的特征学习聚类[J].合肥学院学报(自然科学版),2008,18(2)：45-48
[20]高海华,杨辉华,王行愚.基于PCA和KPCA特征抽取的SVM网络入侵检测方法[J].华东理工大学学报(自然科学版),2006,32(3)：321-326
[21]薛建中,闫相国,郑崇勋.用核学习算法的意识任务特征提取与分类[J].电子学报,2004,32(10)：1749-1753
[22]刘完芳,黄生叶,常卫东.基于KPCA入侵检测特征提取技术研究[J].微计算机信息,2007,23(3)：81-83
[23]赵锋,张英军.一种KPCA的快速算法[J].控制与决策,2007,22(9)：1044-1048
[24]毛俐旻,姚淑萍,胡昌振.一种新型混合特征选择方法及其在入侵检测中的应用[J].北京理工大学学报,2008,28(3)：218-221
[25]卓高明,林世平.邮件过滤中信息增益方法的改进[J].计算机工程与应用,2006,124-125
[26]乔磊.基于神经网络方法的数据挖掘平台设计和实现[D].成都：电子科技大学,2008
[27]危胜军,胡昌振,姜飞.基于BP神经网络改进算法的入侵检测方法[J].计算机工 程,2005,31(13)：154-158
[28]才轶,徐圆,朱群雄.基于自联想神经网络的数据滤波与应用[J].计算机与应用化学,2009,26(5)：673-676
[29]薛辉,吴跃,刘小双,章毅.采用BP神经网络的通用数据压缩方案[J].微计算机信息,2005,21(12)：179-181
[30]丁卫平.基于BP神经网络改进算法的数据压缩方案[J].湖南理工学院学报(自然科学版),2009,22(4)：35-38
[31]常卫东,刘完芳.基于遗传算法网络入侵检测系统的研究与实现[J].网络安全技术与应用,2004.10：32-34
[32]郝占刚,王正欧.基于模式聚类和遗传算法的文本特征提取方法[J].计算机应用,2005,25(7)：1632-1637
[33]杨洁,郑宁,刘董,罗时贵.基于遗传算法的SVM带权特征和模型参数优化[J].计算机仿真,2008,25(9)：115-117
[34]张跃军,柴乔林,王少娥,王华,刘云璐.利用GA与SVM对NIDS进行关键特征提取[J].计算机工程与应用,2006.34：119-121
[35]林扬,杨贵全,杨立身.基于改进SVM方法的入侵检测[J].计算机工程,2007,33(14)：151-153
[36]张宏财.基于S变换的电能质量扰动分析[D].北京：北京化工大学,2010
[37]谭龙.基于聚类和支持向量机的网络入侵检测[D].秦皇岛：燕山大学,2009
[38]吴海燕.基于支持向量机与模糊推理的系统辨识与控制研究[D].西安：西安理工大学,2006
[39]段丹青,陈松乔,杨卫平.基于SVM主动学习的入侵检测系统[J].计算机工程,2007,33(1)：153-155
[40]绕鲜,董春曦,杨绍全.基于支持向量机的入侵检测系统[J].软件学报,2003,14(4)：798-803
[41]黄双福.基于支持向量机与主动学习的入侵检测[D].安徽：中国科学技术大学,2009
[42]顾燕萍,赵文杰,吴占松.最小二乘支持向量机的算法研究[J].清华大学学报(自然科学版),2010,50(7)：1063-1066
[43]陈健美,宋顺林,陆虎,宋余庆,朱玉全.改进模糊聚类算法及其在入侵检测中的作用[J].东南大学学报(自然科学版),2007,37(4)：589-592
[44]张国锁,周创明,雷英杰.FCM聚类算法及其在入侵检测中的应用[J].计算机应用,2009,29(5)：1336-1338
[45]张雨浓,李克讷,谭宁.中心方差及权值直接确定的RBF神经网络分类器[J].计算技术与自动化,2009,28(3)：5-9
[46]石慧慧.基于JPCAP的网络流量采集监控系统研究与设计[D].南京：南京林业大学,2010