基于数据链路层数据捕获与信息过滤
|
摘要
随着网络技术的不断发展，特别是信息技术的发展，使社会进入了一个信息爆炸的时代，世界也由于Internet而变小，人们通过各种技术，如电子邮件、网络视频会议系统、网络传呼机等工具，使得交流突破了空间的限制。在网络技术的发展与普及的同时网络安全问题引起人们的广泛关注，研究并开发出一种能有效地实时拦截和监视可疑的网络信息系统，具有重要意义，基于这一情况，本文针对网络数据的捕获与信息过滤等问题进行了深入的探讨和研究。
本文将信息过滤中的相关技术引入到网络安全领域，设计了网络数据捕获和信息过滤系统的总体方案与实现的方法。通过利用WinPcap开发包，实现了网络数据包的捕获，利用TCP/IP协议的封装理论，通过自下而上的分析，实现了地址过滤、类型过滤、协议过滤与端口过滤，通过对SMTP协议、POP3协议通信分析，提取了邮件，并通过过滤系统对邮件进行过滤，通过对HTTP协议分析，实现基于目标地址的访问控制。
本文设计了中文分词处理算法，此算法通过对停用词库、单字词库与前置词库进行匹配，并通过对分词进行切分，利用改造型马尔可夫N元语言模型处理分词中出现的歧义词方法，建立了中文分词词库，然后对分词进行权重评价从而提取特征向量，并作为规则归入规则库里，作为文本过滤的标准，最后提出防止敏感信息通过的一些过滤策略。
With the gradual development of the network technology. especially the development of the information technology, an information-absence era is becoming an information-explosion era. The world is becoming smaller and smaller just because of the internet. People can break the limitation of the space just through every kind of technology, such as e-mail, network video meeting system, network BP calls and so on and so forth. At the same time of the development and popularity of the network technology, the network security is becoming one of the people's great concerns. Therefore, it is of great meaning to study and develop a new kind of network information system which can effectively and timely monitor and intercept the suspicions information. Based on the above situation , the article chiefly studies the date catching and the information filtering of the network.
By analysing the general process of the information filtering, somerelative technologies in the information filtering are introduced into the field of network security, and the general scheme and methods for the realization of the network data filtering and the information filtering system are designed and achieved. The network data packets can be captured by means of WinPcap. According to the basic principle of TCP/IP and the analysis results, the SMTP protocol filtering,the port filtering,the address filtering and the kinds filtering can be achieved. E-mails can beattained by the analysis of the SMTP protocol and POP3 protocol. The control on the visiting target address can be implemented by using the filtering system on the e-mails and the analysis on the HTTP protocols.
And also in this article, the Chinese word automatic segmentation is designed which uses the melio-rative Markoff statistics process. The Chinese word bank is built up by matching the unimportant-word base, the single-word base and the first-word base. The feature vector is drawn out through assessing the weight of every word, enters into the regular band as regulations and becomes a criterion for text filtering.
And finally the article puts forward some preventive strategies to the filtered unhealthy information in order to make the local network secure.
本文将信息过滤中的相关技术引入到网络安全领域，设计了网络数据捕获和信息过滤系统的总体方案与实现的方法。通过利用WinPcap开发包，实现了网络数据包的捕获，利用TCP/IP协议的封装理论，通过自下而上的分析，实现了地址过滤、类型过滤、协议过滤与端口过滤，通过对SMTP协议、POP3协议通信分析，提取了邮件，并通过过滤系统对邮件进行过滤，通过对HTTP协议分析，实现基于目标地址的访问控制。
本文设计了中文分词处理算法，此算法通过对停用词库、单字词库与前置词库进行匹配，并通过对分词进行切分，利用改造型马尔可夫N元语言模型处理分词中出现的歧义词方法，建立了中文分词词库，然后对分词进行权重评价从而提取特征向量，并作为规则归入规则库里，作为文本过滤的标准，最后提出防止敏感信息通过的一些过滤策略。
With the gradual development of the network technology. especially the development of the information technology, an information-absence era is becoming an information-explosion era. The world is becoming smaller and smaller just because of the internet. People can break the limitation of the space just through every kind of technology, such as e-mail, network video meeting system, network BP calls and so on and so forth. At the same time of the development and popularity of the network technology, the network security is becoming one of the people's great concerns. Therefore, it is of great meaning to study and develop a new kind of network information system which can effectively and timely monitor and intercept the suspicions information. Based on the above situation , the article chiefly studies the date catching and the information filtering of the network.
By analysing the general process of the information filtering, somerelative technologies in the information filtering are introduced into the field of network security, and the general scheme and methods for the realization of the network data filtering and the information filtering system are designed and achieved. The network data packets can be captured by means of WinPcap. According to the basic principle of TCP/IP and the analysis results, the SMTP protocol filtering,the port filtering,the address filtering and the kinds filtering can be achieved. E-mails can beattained by the analysis of the SMTP protocol and POP3 protocol. The control on the visiting target address can be implemented by using the filtering system on the e-mails and the analysis on the HTTP protocols.
And also in this article, the Chinese word automatic segmentation is designed which uses the melio-rative Markoff statistics process. The Chinese word bank is built up by matching the unimportant-word base, the single-word base and the first-word base. The feature vector is drawn out through assessing the weight of every word, enters into the regular band as regulations and becomes a criterion for text filtering.
And finally the article puts forward some preventive strategies to the filtered unhealthy information in order to make the local network secure.
引文
[1] 吴莹，基于Linux的网络嗅探器设计（硕士论文），山东：山东大学，2001
[2] 梁理，网络信息过滤系统的研究与实现（硕士论文），西安：西安交通大学，2001
[3] 杨峰，互联网内容识别和中文文本信息过滤（硕士论文），沈阳：东北大学，2001
[4] 房玉清，实用汉语语法，北京语言学院出版社，1992，P.50-100
[5] 刘挺、王开铸，基于篇章多级依存结构的自动文摘研究，计算机研究与发展，1999 Vol.36 No.04 P. 128-132
[6] 刘伟权，自然语言理解与汉语文本信息处理理论研究（博士论文）北京：北京邮电大学，1997
[7] 冯书晓、 徐新、杨春梅，国内中文分词技术研究新进展 ，情报杂志，2002 Vol.21 No.11 P.29-30
[8] 欧青立、徐建波、李方敏、李仁发，虚拟设备驱动程序VxD的研究与开发，2002 Vol.28 No.03 P.45-46，233
[9] 王浩，VxD设备驱动程序的开发,石油仪器，2002 Vol.16 No.03 P.34-36
[10]黄家林、彭建，VxD技术原理与应用,微处理机,2002 No.01 P.35-38
[11]赵鸽、陈姚节、熊文龙，基于WDM设备驱动的虚拟仪器的研究与实现，武汉理工大学学报，2003 Vol.27 No.021 P.267-269
[12]李晓莺、曾启铭，NDIS网络驱动程序的研究与实现，计算机应用，2002 Vol.22 No.04 P.29-30
[13]梁理、黄樟敛、侯义斌，网络信息侦听系统的研究与实现，计算机工程与应用，2002 Vol.38 No.17 P.184-186，226
[14]丁勇，蒋朝根，基于Windows2000平台的包捕获技术，计算机时代，2003 Vol.27 No.01 P.10-11
[15]WinPcap:a Packet Capture Architecture for Windows,
http://netgroup-serv.polito.it
[16]庄春兴、彭奇志，基于WinPcap的网络嗅探程序设计，计算机与现代化，2002 No.05 P.11-13
[17]吴众欣、李兰友，基于BPF模型的分布式网络信息监听系统，天津工业大学学报，2002 Vol.21 No.01 P.58-61
[18]（美国）W.Richard Stevens著、范嬄华、胥光浑、张涛等译，谢希仁校，TCP/IP详解卷1:协议，机械工业出版社，2003.03， P1-37，P170-268，P332-346
[19]刘惊雷、王香红、华臻，基于WinSock的电子邮件后台监听程序设计，计算机工程，2003 Vol.29 No.01 P.287-289
[20]RFC822 Standard for the Format of ARPA Internet Text Messages,http://www.ietf.org
[21]RFC2045-RFC2049 Multipurpose Internet Mail Extension,http://www.ietf.org
[22][美]Kevin Johnson,Internet Email P.10-13 P.43-46 P.83-130,2000,06
[23]林鸿飞、战学刚、姚天顺，基于概念的中文文本过滤模型，计算机科学，2000 Vol.37 No.03 P.324-328
[24]杨斌、孟志青，一种文本分类数据挖掘的技术，湘潭大学自然科学学报，2001，Vol.23 No.04 P.34-37
[25]邵艳秋、刘挺、王开铸，中文科技文献题内自动抽词标引系统，电脑学习，1998 No.04 P.1-3
[26]施仁杰，马尔可夫链基础及其应用，西安电子科技大学出版社，1992.11，P.5-7，P.16-18
[27]欧振猛、余顺争,中文分词算法在搜索引擎应用中的研究,计算机工程与应用,2000 No.08 P.80-84
[28]刘源、谭强、沈旭昆，信息处理用现代汉语分词规范及自动分词方法，清华大学出版社，1994.06，P.20-39
[29]查贵庭、侯元清，基于多词表的自动标引技术研究—新华社新闻稿自动标引的实验，情报学报，2002 Vol.21 No.3 P.273-277
[30]刘莹，监听技术在网络管理上的应用,西安交通大学硕士学位论文,1999.6
[31]唐正军、刘代志，网络嗅探器Sniffer软件源代码浅析（2），计算机工程，2002 Vol.28 No.01 P.165-168
[32]袁春阳、柴乔林、柳忠光，网络入侵检测系统中网络实时监听程序的设计与实现，计算机工程，2002 Vol.28 No.10 P.150-152
[33]畅士功，网络数据信息在线分析研究（硕士论文），天津：天津大学，2001
[34]原箐、卿斯汉，在IP包过滤中TCP包的过滤研究与设计，计算机工程与应用，2002 Vol.38 No.07 P.162-164,176
[35]张大兴，IP数据包及其应用开发，计算机工程与设计，2002 Vol.23 No.04 P.62-64
[36]刘嘉勇、方勇、侯潇沐、索望，E-mail监听系统的设计与实现，四川大学学报，2002 Vol.39 No.06 P.1058-1060
[37]刘宴兵、李春，使用SMTP实现邮件发送设计，计算机工程与应用，2002 No.08 P.142-144
[38]RFC821 Simple Mail Transfer Protocol,
http://www.ietf.org
[39]陆建德，一个新型的Web邮件系统设计，计算机工程，2002 Vol.28 No.06 P.186-189
[40]RFC1939 Post Office Protocol-Version 3,
http://www.ieft.org
[41]RFC2068 Hypertext Transfer Protocol-HTTP/1.1
http://www.ietf.org
[42]侯志荣、吕振肃，基于HTTP协议的文件远程存取方法研究，计算机工程，2003 Vol.21 No.06 P.134-137
[43]韩宇贞、朱华生，Base64编码的数据加密技术，南昌水专学报，2002 Vol.21 No.04 P.38-40
[44]李文斌，黄佳进，欧创新，刘椿年，个性化E-mail分类器的设计与实现，北京工业大学学报，2002 Vol.28, No.4 P.0254-0257
[45]朱华宇、孙正兴、张福炎，一个基于向量空间模型的中文文本自动分类系统，计算机工程，2001 Vol.27, No.02 P.15-18
[2] 梁理，网络信息过滤系统的研究与实现（硕士论文），西安：西安交通大学，2001
[3] 杨峰，互联网内容识别和中文文本信息过滤（硕士论文），沈阳：东北大学，2001
[4] 房玉清，实用汉语语法，北京语言学院出版社，1992，P.50-100
[5] 刘挺、王开铸，基于篇章多级依存结构的自动文摘研究，计算机研究与发展，1999 Vol.36 No.04 P. 128-132
[6] 刘伟权，自然语言理解与汉语文本信息处理理论研究（博士论文）北京：北京邮电大学，1997
[7] 冯书晓、 徐新、杨春梅，国内中文分词技术研究新进展 ，情报杂志，2002 Vol.21 No.11 P.29-30
[8] 欧青立、徐建波、李方敏、李仁发，虚拟设备驱动程序VxD的研究与开发，2002 Vol.28 No.03 P.45-46，233
[9] 王浩，VxD设备驱动程序的开发,石油仪器，2002 Vol.16 No.03 P.34-36
[10]黄家林、彭建，VxD技术原理与应用,微处理机,2002 No.01 P.35-38
[11]赵鸽、陈姚节、熊文龙，基于WDM设备驱动的虚拟仪器的研究与实现，武汉理工大学学报，2003 Vol.27 No.021 P.267-269
[12]李晓莺、曾启铭，NDIS网络驱动程序的研究与实现，计算机应用，2002 Vol.22 No.04 P.29-30
[13]梁理、黄樟敛、侯义斌，网络信息侦听系统的研究与实现，计算机工程与应用，2002 Vol.38 No.17 P.184-186，226
[14]丁勇，蒋朝根，基于Windows2000平台的包捕获技术，计算机时代，2003 Vol.27 No.01 P.10-11
[15]WinPcap:a Packet Capture Architecture for Windows,
http://netgroup-serv.polito.it
[16]庄春兴、彭奇志，基于WinPcap的网络嗅探程序设计，计算机与现代化，2002 No.05 P.11-13
[17]吴众欣、李兰友，基于BPF模型的分布式网络信息监听系统，天津工业大学学报，2002 Vol.21 No.01 P.58-61
[18]（美国）W.Richard Stevens著、范嬄华、胥光浑、张涛等译，谢希仁校，TCP/IP详解卷1:协议，机械工业出版社，2003.03， P1-37，P170-268，P332-346
[19]刘惊雷、王香红、华臻，基于WinSock的电子邮件后台监听程序设计，计算机工程，2003 Vol.29 No.01 P.287-289
[20]RFC822 Standard for the Format of ARPA Internet Text Messages,http://www.ietf.org
[21]RFC2045-RFC2049 Multipurpose Internet Mail Extension,http://www.ietf.org
[22][美]Kevin Johnson,Internet Email P.10-13 P.43-46 P.83-130,2000,06
[23]林鸿飞、战学刚、姚天顺，基于概念的中文文本过滤模型，计算机科学，2000 Vol.37 No.03 P.324-328
[24]杨斌、孟志青，一种文本分类数据挖掘的技术，湘潭大学自然科学学报，2001，Vol.23 No.04 P.34-37
[25]邵艳秋、刘挺、王开铸，中文科技文献题内自动抽词标引系统，电脑学习，1998 No.04 P.1-3
[26]施仁杰，马尔可夫链基础及其应用，西安电子科技大学出版社，1992.11，P.5-7，P.16-18
[27]欧振猛、余顺争,中文分词算法在搜索引擎应用中的研究,计算机工程与应用,2000 No.08 P.80-84
[28]刘源、谭强、沈旭昆，信息处理用现代汉语分词规范及自动分词方法，清华大学出版社，1994.06，P.20-39
[29]查贵庭、侯元清，基于多词表的自动标引技术研究—新华社新闻稿自动标引的实验，情报学报，2002 Vol.21 No.3 P.273-277
[30]刘莹，监听技术在网络管理上的应用,西安交通大学硕士学位论文,1999.6
[31]唐正军、刘代志，网络嗅探器Sniffer软件源代码浅析（2），计算机工程，2002 Vol.28 No.01 P.165-168
[32]袁春阳、柴乔林、柳忠光，网络入侵检测系统中网络实时监听程序的设计与实现，计算机工程，2002 Vol.28 No.10 P.150-152
[33]畅士功，网络数据信息在线分析研究（硕士论文），天津：天津大学，2001
[34]原箐、卿斯汉，在IP包过滤中TCP包的过滤研究与设计，计算机工程与应用，2002 Vol.38 No.07 P.162-164,176
[35]张大兴，IP数据包及其应用开发，计算机工程与设计，2002 Vol.23 No.04 P.62-64
[36]刘嘉勇、方勇、侯潇沐、索望，E-mail监听系统的设计与实现，四川大学学报，2002 Vol.39 No.06 P.1058-1060
[37]刘宴兵、李春，使用SMTP实现邮件发送设计，计算机工程与应用，2002 No.08 P.142-144
[38]RFC821 Simple Mail Transfer Protocol,
http://www.ietf.org
[39]陆建德，一个新型的Web邮件系统设计，计算机工程，2002 Vol.28 No.06 P.186-189
[40]RFC1939 Post Office Protocol-Version 3,
http://www.ieft.org
[41]RFC2068 Hypertext Transfer Protocol-HTTP/1.1
http://www.ietf.org
[42]侯志荣、吕振肃，基于HTTP协议的文件远程存取方法研究，计算机工程，2003 Vol.21 No.06 P.134-137
[43]韩宇贞、朱华生，Base64编码的数据加密技术，南昌水专学报，2002 Vol.21 No.04 P.38-40
[44]李文斌，黄佳进，欧创新，刘椿年，个性化E-mail分类器的设计与实现，北京工业大学学报，2002 Vol.28, No.4 P.0254-0257
[45]朱华宇、孙正兴、张福炎，一个基于向量空间模型的中文文本自动分类系统，计算机工程，2001 Vol.27, No.02 P.15-18