基于嵌入式与神经网络的邮件过滤系统设计
|
摘要
目前关于垃圾邮件过滤的研究技术同垃圾邮件制造者的技术存在着激烈的竞争,邮件给人们的日常生活和工作带来很大便利,但是同时垃圾邮件的涌现和病毒的侵扰也带来了一系列的负面影响,因此垃圾邮件的泛滥需要迫切的技术处理。本次设计基于前人研究的基础上,结合邮件知识和神经网络研究了一套邮件过滤系统,采用人工智能的方法提取邮件特征,自动学习垃圾邮件的特征并进行过滤,提高邮件过滤的准确度,最后并将邮件过滤系统应用到嵌入式系统,这样的嵌入式设备可以随身携带,可以方便的进行通信。本文首先阐述了邮件的工作原理及基础知识,再通过对神经网络算法的研究并算法进行改进,将邮件过滤与神经网络相结合,提取垃圾邮件特征并进行训练和测试,最后阐述移植的过程,将完整的系统移植到嵌入式Windows CE操作系统平台上,通过实验验证设计的可行性。
At present, the spam filtering technology and the study of technology spammers are constantly competing with each other, e-mails facilitate people's daily lives and the work, but the emergence of spam and the virus has also brought a series of intrusive negative impact, so the popularity of spam technology requires urgent treatment. The design is based on the basis of previous studies, combining with e-mail knowledge and neural network to design a set of e-mail filtering system, and use the artificial intelligence to extract the e-mail features, this system can learn the spam's characteristics automatically and improve the accuracy of mail filtering. Finally, the e-mail filtering system will be ported to the embed system, which is portable and can communicate easily. This article tells the working principle and basic knowledge of email firstly, then combines the neural network algorithm with the e-mail filtering system, after extracting the characteristics of junk e-mail, and then train and test it.Finally, explaining the transplant process, the whole system will be completely transferred to the embedded Windows CE operating system platform, experiments can demonstrate the feasibility of the design.
At present, the spam filtering technology and the study of technology spammers are constantly competing with each other, e-mails facilitate people's daily lives and the work, but the emergence of spam and the virus has also brought a series of intrusive negative impact, so the popularity of spam technology requires urgent treatment. The design is based on the basis of previous studies, combining with e-mail knowledge and neural network to design a set of e-mail filtering system, and use the artificial intelligence to extract the e-mail features, this system can learn the spam's characteristics automatically and improve the accuracy of mail filtering. Finally, the e-mail filtering system will be ported to the embed system, which is portable and can communicate easily. This article tells the working principle and basic knowledge of email firstly, then combines the neural network algorithm with the e-mail filtering system, after extracting the characteristics of junk e-mail, and then train and test it.Finally, explaining the transplant process, the whole system will be completely transferred to the embedded Windows CE operating system platform, experiments can demonstrate the feasibility of the design.
引文
[1]中国反垃圾邮件联盟,http://www.anti-spam.org.cn/,2009年3月24下载
[2]陈琴.贝叶斯数据挖掘技术及其在反垃圾邮件中的应用[D].广西大学硕士学位论文.2004：20-29
[3]邮件发开网,http://www.xingcw.com/,2009年3月13日下载
[4]反垃圾邮件小组,http://www.ccert.edu.cn/spam/knowledge/knowledge.htm#s1,2009年3月14日星期六下载
[5]李文斌.基于集成学习的邮件过滤及电子邮件智能应用研究[D].北京工业大学博士学位论文.2007：1-100
[6]Hornik, K.Stinchcombe.M.White.H. Multilayer. Feedforward Networks are Universal Approximators. Nerual Nerworks.1989,2:359-366
[7]朱大奇,史慧.人工神经网络及应用[M].北京科学出版社：2006,1-63
[8]廖晓昕.细胞神经网络的数学理论.中国科学,1994,24(9)：902-910；24(10)：1037-1046
[9]电子杂志咨询中心,http://www.duba.net/c/2003/08/26/91230.shtml,2009年3月12日星期四下载
[10]黄国玉.基于神经网络的邮件分类识别研究[D].长安大学硕士学位论文,2006：1-60
[11]W. Richard Strvens.UNIX网络编程(第1卷)一套接口API和X/Open传输接口API[M].北京：清华大学出版社,1997,90-110.
[12]BehrouzA.Forouzan.SophiaChungFegan.TCP/IP协议族[M]北京：清华大学出版社,2005,497-517.
[13]W. Richard Strvens.UNIX网络编程(第1卷)一套接口API和X/Open传输接口API[M].北京：清华大学出版社,1997,90-110.
[14]王树海.BP神经网络与支持向量机二级识别手写体数字[D].北京邮电大学硕士学位论文：2007,11-18
[15]韩力群.人工神经网络教程[M].北京：北京邮电大学出版社,2006.12
[16]焦李成.神经网络系统理论[M].西安：西安电子科技大学出版社,1996
[17]曹麒麟、张千里。垃圾邮件与反垃圾邮件技术[J]人民邮电出版社2003.2：104-130
[18]飞思科技产品研发中心编著.神经网络理论与MATLAB7实现[M].北京：电子工业出版社,2005：44-60
[19]熊超.模式识别理论及其应用综述[J].中国科技信息,2006,6：171-172
[20]姚文俊.基于遗传算法的故障诊断的研究[J].现代电子技术,2003(23)：85-86
[21]严红平,潘春洪.模式识别简述[J].自动化博览,2006,23(1)：22-26
[22]肖健华.智能模式识别方法[M].广州：华南理工大学出版社,2006.1
[23]闵建虎.基于遗传算法的BP网络学习算法研究[J].电子科技,2008,21(11)：51-62
[24]马玉梅.动量因子对BP算法的影响[J].中央民族大学学报(自然科学版),2008,17(4)：35-40
[26]镇方雄,李跃新.基于改进遗传算法的神经网络优化[J].湖北大学学报,2006,28(4)：345-349
[27]马芳芳.基于实数编码遗传算法的神经网络优化设计[J].微处理机,2008,3：107-112
[28]徐晋.适于前馈神经网络的LM-QuasiNewton综合学习新方法[J].西南交通大学学报.,2004,39(5)：675-678
[29]叶德谦,康建红.基于实数编码遗传算法的前向神经网络优化设计[J].计算机工程,2005,31(16)：163-164
[30]韩文.BP算法的数值最优化改进算法[J].科协论坛(下半月),2008,7：64-65
[31]杜典嵘.嵌入式E-mail系统的设计与实现[J]。计算机应用,2002,22(1)：60-62
[32]包理群,柴世红.决策树在垃圾邮件过滤中的应用[J].兰州工业高等专科学校学报：2008,15(4)：8-11
[33]李文斌,陈嶷瑛.邮件过滤算法的比较[J].计算机工程与设计：2008,29(17)：4433-4436
[31]刘静,余晓晔.基于地址与内容过滤的垃圾邮件过滤器设计[J].华北电力大学学报：2006,33(3)：77-80
[35]刘治,纲舒远仲.垃圾邮件过滤技术的分析与实现[J].铜业工程：2006,1：66-71
[36]胡永杰,卜红霞.垃圾邮件过滤技术研究[J].河北师范大学学报,自然科学版,2006,30(2)：158-160
[37]张耀龙,张鹏飞.高性能邮件过滤服务结构模型设计与实现[J].计算机工程与应用,2006,42(6)：176-178
[38]王兴虎,浦海晨.一种基于神经网络的电子邮件过滤系统设计[J].福建电脑,2006,3：126
[39]张鹏鹏,张自力.一种基于神经网络的垃圾邮件过滤方法[J].计算机科学,2008,35(5)：190-208
[40]Bernardo J. and Smith A..Bayesian Theory,John Wiley & Sons,1994
[41]李扬继.垃圾邮件特征的判别模型研究[D].四川大学硕士学位论文.2005：1-39
[42]廖玲,文敦伟.基于内容粘合性的邮件分类[J].计算机仿真,2008,25(2)：121-123
[43]王波.反垃圾邮件系统研究及实现[D].电子科技大学硕士学位论文.2004：1-70
[44]行业新闻网站,http://www.it.com.cn/f/network/078/11/460514.htm,2009年3月13日星期五下载
[45]电脑网络咨询网,http://zhidao.baidu.com/question/11673216.html,2009年3月12日星期四下载
[46]谢建伟,魏晓宁.基于内容的垃圾邮件过滤技术综述[J].黑龙江科技信息：2008,36：95
[47]陈良臣.嵌入式组件在终端上的研究与设计[J].计算机技术与发展,2006,16(12)：166-171
[48]臧佳锋.基于Windows CE的嵌入式电子邮件系统设计与实现[J].微计算机信息,2006,5：89-91
[49]范莉莉.嵌入式web邮件系统的设计[J].科技创业月刊,2005,3：141-143
[50]胡燕,滕桂法,董素芬,王聃.基于MIME邮件结构的邮件内容提取技术的研究[J].应用实践,2008,5：85-88
[51]屈景怡.一种嵌入式电子邮件系统的设计与实现[J].计算机应用研究,2004,5：224-226
[52]邮陈韬伟.件系统中的SMTP认证机制[J].昆明理工大学学报(理工版),2003,28(2)：83-86
[53]尹晓翠,王盟.基于Windows CE的可视电话的研究与实现[J].现代电子技术,2006,8(223)：142-144
[54]耿娟,原亮,吴彩华Windows程序向Windows CE平台的移植[J].科学技术与工程,
2006,6(4)：461-465
[55]张健,林丽丽.基于SMTP、POP3协议的电子邮件自动收发系统的开发[J].微型电脑应用,2007：(04)
[56]陆启帅,蒋冰华,李寒生,陆超.基于S3C241O和Windows CE的智能移动终端设计[J].陕西理工学院学报(自然科学版),2005,21(4)：11-14
[57]周勇,周洪利.用EVC4.0开发高效的Windows CE应用程序[J].现代计算机,2005,(09)
[58]周振喜,戴国骏.Windows应用程序移植到Windows CE下的策略[J].计算机工程与设计,2004(9)：33-45
[59]傅曦,齐宇.嵌入式系统Windows CE开发技巧与实例[M].北京：化学工业出版社,2004,15-35
[60]邮件过滤网站,http://www.Spamassassion.org/publiccorpus,2009年4月下载
[2]陈琴.贝叶斯数据挖掘技术及其在反垃圾邮件中的应用[D].广西大学硕士学位论文.2004：20-29
[3]邮件发开网,http://www.xingcw.com/,2009年3月13日下载
[4]反垃圾邮件小组,http://www.ccert.edu.cn/spam/knowledge/knowledge.htm#s1,2009年3月14日星期六下载
[5]李文斌.基于集成学习的邮件过滤及电子邮件智能应用研究[D].北京工业大学博士学位论文.2007：1-100
[6]Hornik, K.Stinchcombe.M.White.H. Multilayer. Feedforward Networks are Universal Approximators. Nerual Nerworks.1989,2:359-366
[7]朱大奇,史慧.人工神经网络及应用[M].北京科学出版社：2006,1-63
[8]廖晓昕.细胞神经网络的数学理论.中国科学,1994,24(9)：902-910；24(10)：1037-1046
[9]电子杂志咨询中心,http://www.duba.net/c/2003/08/26/91230.shtml,2009年3月12日星期四下载
[10]黄国玉.基于神经网络的邮件分类识别研究[D].长安大学硕士学位论文,2006：1-60
[11]W. Richard Strvens.UNIX网络编程(第1卷)一套接口API和X/Open传输接口API[M].北京：清华大学出版社,1997,90-110.
[12]BehrouzA.Forouzan.SophiaChungFegan.TCP/IP协议族[M]北京：清华大学出版社,2005,497-517.
[13]W. Richard Strvens.UNIX网络编程(第1卷)一套接口API和X/Open传输接口API[M].北京：清华大学出版社,1997,90-110.
[14]王树海.BP神经网络与支持向量机二级识别手写体数字[D].北京邮电大学硕士学位论文：2007,11-18
[15]韩力群.人工神经网络教程[M].北京：北京邮电大学出版社,2006.12
[16]焦李成.神经网络系统理论[M].西安：西安电子科技大学出版社,1996
[17]曹麒麟、张千里。垃圾邮件与反垃圾邮件技术[J]人民邮电出版社2003.2：104-130
[18]飞思科技产品研发中心编著.神经网络理论与MATLAB7实现[M].北京：电子工业出版社,2005：44-60
[19]熊超.模式识别理论及其应用综述[J].中国科技信息,2006,6：171-172
[20]姚文俊.基于遗传算法的故障诊断的研究[J].现代电子技术,2003(23)：85-86
[21]严红平,潘春洪.模式识别简述[J].自动化博览,2006,23(1)：22-26
[22]肖健华.智能模式识别方法[M].广州：华南理工大学出版社,2006.1
[23]闵建虎.基于遗传算法的BP网络学习算法研究[J].电子科技,2008,21(11)：51-62
[24]马玉梅.动量因子对BP算法的影响[J].中央民族大学学报(自然科学版),2008,17(4)：35-40
[26]镇方雄,李跃新.基于改进遗传算法的神经网络优化[J].湖北大学学报,2006,28(4)：345-349
[27]马芳芳.基于实数编码遗传算法的神经网络优化设计[J].微处理机,2008,3：107-112
[28]徐晋.适于前馈神经网络的LM-QuasiNewton综合学习新方法[J].西南交通大学学报.,2004,39(5)：675-678
[29]叶德谦,康建红.基于实数编码遗传算法的前向神经网络优化设计[J].计算机工程,2005,31(16)：163-164
[30]韩文.BP算法的数值最优化改进算法[J].科协论坛(下半月),2008,7：64-65
[31]杜典嵘.嵌入式E-mail系统的设计与实现[J]。计算机应用,2002,22(1)：60-62
[32]包理群,柴世红.决策树在垃圾邮件过滤中的应用[J].兰州工业高等专科学校学报：2008,15(4)：8-11
[33]李文斌,陈嶷瑛.邮件过滤算法的比较[J].计算机工程与设计：2008,29(17)：4433-4436
[31]刘静,余晓晔.基于地址与内容过滤的垃圾邮件过滤器设计[J].华北电力大学学报：2006,33(3)：77-80
[35]刘治,纲舒远仲.垃圾邮件过滤技术的分析与实现[J].铜业工程：2006,1：66-71
[36]胡永杰,卜红霞.垃圾邮件过滤技术研究[J].河北师范大学学报,自然科学版,2006,30(2)：158-160
[37]张耀龙,张鹏飞.高性能邮件过滤服务结构模型设计与实现[J].计算机工程与应用,2006,42(6)：176-178
[38]王兴虎,浦海晨.一种基于神经网络的电子邮件过滤系统设计[J].福建电脑,2006,3：126
[39]张鹏鹏,张自力.一种基于神经网络的垃圾邮件过滤方法[J].计算机科学,2008,35(5)：190-208
[40]Bernardo J. and Smith A..Bayesian Theory,John Wiley & Sons,1994
[41]李扬继.垃圾邮件特征的判别模型研究[D].四川大学硕士学位论文.2005：1-39
[42]廖玲,文敦伟.基于内容粘合性的邮件分类[J].计算机仿真,2008,25(2)：121-123
[43]王波.反垃圾邮件系统研究及实现[D].电子科技大学硕士学位论文.2004：1-70
[44]行业新闻网站,http://www.it.com.cn/f/network/078/11/460514.htm,2009年3月13日星期五下载
[45]电脑网络咨询网,http://zhidao.baidu.com/question/11673216.html,2009年3月12日星期四下载
[46]谢建伟,魏晓宁.基于内容的垃圾邮件过滤技术综述[J].黑龙江科技信息：2008,36：95
[47]陈良臣.嵌入式组件在终端上的研究与设计[J].计算机技术与发展,2006,16(12)：166-171
[48]臧佳锋.基于Windows CE的嵌入式电子邮件系统设计与实现[J].微计算机信息,2006,5：89-91
[49]范莉莉.嵌入式web邮件系统的设计[J].科技创业月刊,2005,3：141-143
[50]胡燕,滕桂法,董素芬,王聃.基于MIME邮件结构的邮件内容提取技术的研究[J].应用实践,2008,5：85-88
[51]屈景怡.一种嵌入式电子邮件系统的设计与实现[J].计算机应用研究,2004,5：224-226
[52]邮陈韬伟.件系统中的SMTP认证机制[J].昆明理工大学学报(理工版),2003,28(2)：83-86
[53]尹晓翠,王盟.基于Windows CE的可视电话的研究与实现[J].现代电子技术,2006,8(223)：142-144
[54]耿娟,原亮,吴彩华Windows程序向Windows CE平台的移植[J].科学技术与工程,
2006,6(4)：461-465
[55]张健,林丽丽.基于SMTP、POP3协议的电子邮件自动收发系统的开发[J].微型电脑应用,2007：(04)
[56]陆启帅,蒋冰华,李寒生,陆超.基于S3C241O和Windows CE的智能移动终端设计[J].陕西理工学院学报(自然科学版),2005,21(4)：11-14
[57]周勇,周洪利.用EVC4.0开发高效的Windows CE应用程序[J].现代计算机,2005,(09)
[58]周振喜,戴国骏.Windows应用程序移植到Windows CE下的策略[J].计算机工程与设计,2004(9)：33-45
[59]傅曦,齐宇.嵌入式系统Windows CE开发技巧与实例[M].北京：化学工业出版社,2004,15-35
[60]邮件过滤网站,http://www.Spamassassion.org/publiccorpus,2009年4月下载