垃圾彩信检索与拦截软件系统的研究与实现
|
摘要
随着我国移动通信业务的发展,手机彩信业务逐渐赢得了广大手机用户的青睐。随着手机彩信业务的广泛应用,“垃圾彩信”问题也越来越严重,成为一大社会公害。垃圾彩信的泛滥,已经干扰到人们的正常生活和市场的正常运行。垃圾彩信的有效治理事关彩信服务的健康发展,对维护人们的通信自由,生活安宁有着重要意义。
本文对垃圾彩信进行了明确定义和分类。并对来电号码黑名单匹配、彩信文本信息关键词过滤、彩信图像拦截三种技术进行了分析。在此基础上,建立了一个基于内容的垃圾彩信拦截系统,来实现对彩信的拦截。本系统的关键点是通过肤色检测、纹理检测以及人脸检测提取特征量,并设计分类器。
本文对系统的基本功能进行了介绍,为了了验证系统对图像内容拦截的有效性,本文还对1508张图片进行了测试。结果表明,本文设计的系统能够有效的进行图像的拦截,拦截率超过80%。
本系统为垃圾彩信治理提供了一项有效手段,它不仅很大程度地遏制了骚扰、欺诈、色情等各种垃圾彩信,还将为广大手机用户提供一个安全、可靠和安心的通信消费环境。
Along with the development of China’s mobile communications business, mobile phone multimedia message service has won the favor of majority mobile phone users. Duing to the widely used of MMS services, the increasing of”MMS spam”issues became a serious social hazards. The proliferation of MMS spams has interfered with people’s normal life and the regular operation of the communication business market. Effective management of spam messages was of great significance since it concerning to the healthy development of the service industry, the maintenance of people’s freedom, and peace of human social life.
In this study, we made a clear definition and classification on the multimedia message. In addition, we analysised the three techniques as to the matched blacklists filtering, keywords filtering, images filtering. Based on that, we made a MMS interception system which was content-based in order to intercept the spam MMS. The key point of this system was to extract features and construct the classifier by means of skin-color detection, texture detection and face detection
This thesis described the basic functions of the interception system. To verify the image filtering effectiveness of our system. we made extensive experiments with 1508 images. The result indicated that the interception system could block the images effectively. The overall interception rate of this system was over 80%.
In sum, the system provided an effective way to control MMS spam. It was not only greatly limiting the amount of harassment, deceiving or pornography multimedia messages, but also supplied a safe and reliable communication environment for the phone users.
本文对垃圾彩信进行了明确定义和分类。并对来电号码黑名单匹配、彩信文本信息关键词过滤、彩信图像拦截三种技术进行了分析。在此基础上,建立了一个基于内容的垃圾彩信拦截系统,来实现对彩信的拦截。本系统的关键点是通过肤色检测、纹理检测以及人脸检测提取特征量,并设计分类器。
本文对系统的基本功能进行了介绍,为了了验证系统对图像内容拦截的有效性,本文还对1508张图片进行了测试。结果表明,本文设计的系统能够有效的进行图像的拦截,拦截率超过80%。
本系统为垃圾彩信治理提供了一项有效手段,它不仅很大程度地遏制了骚扰、欺诈、色情等各种垃圾彩信,还将为广大手机用户提供一个安全、可靠和安心的通信消费环境。
Along with the development of China’s mobile communications business, mobile phone multimedia message service has won the favor of majority mobile phone users. Duing to the widely used of MMS services, the increasing of”MMS spam”issues became a serious social hazards. The proliferation of MMS spams has interfered with people’s normal life and the regular operation of the communication business market. Effective management of spam messages was of great significance since it concerning to the healthy development of the service industry, the maintenance of people’s freedom, and peace of human social life.
In this study, we made a clear definition and classification on the multimedia message. In addition, we analysised the three techniques as to the matched blacklists filtering, keywords filtering, images filtering. Based on that, we made a MMS interception system which was content-based in order to intercept the spam MMS. The key point of this system was to extract features and construct the classifier by means of skin-color detection, texture detection and face detection
This thesis described the basic functions of the interception system. To verify the image filtering effectiveness of our system. we made extensive experiments with 1508 images. The result indicated that the interception system could block the images effectively. The overall interception rate of this system was over 80%.
In sum, the system provided an effective way to control MMS spam. It was not only greatly limiting the amount of harassment, deceiving or pornography multimedia messages, but also supplied a safe and reliable communication environment for the phone users.
引文
[1] Protocol Forum Ltd著,侯春萍,宋梅,蔡涛等译. WAP无线应用协议[M].北京:机械工业出版社,2000.10～12。
[2]肖明,殷锋,张楠,垃圾邮件过滤技术及发展.西南民族大学学报,2007,33(1):25～36。
[3]黄卿,封令隽,彩信内容识别业务的实现及关键技术.电信技术,2008,(7):184～185
[4]刘洋,杜孝平,黄星华,侯志辉等,垃圾邮件的智能过滤系统设计探讨。微机发展,2003, (4):1～23.
[5]贾凡,彩信网关的建设及其对彩信业务的改善.电信工程技术与标准化,2006,31(1):45～50
[6]张晶,关于过滤垃圾短信方法的研究.电脑知识与技术,2008,23(32):38～39.
[7]范晶等,基于Hash函数和贝叶斯方法的垃圾短信在线过滤系统.计算机应用2008, 4(2):42～58.
[8]田卫辉,基于J2ME的手机垃圾短信过滤器的研究与实现:[硕士学位论文].河北工业大学,2007.
[9] N. Cristianini, J. Shawe-Taylor ,and H. Lodhi. Latent Semantic Kernels .Journal of Intelligent Information Systems, 2002, (18) :127～152 .
[10]杨妮娜,王庆.基于Struts框架的垃圾短信过滤模块的设计.计算机工程,2009,35(1):283～285.
[11]曹耀辉,基于WinCE终端垃圾短信过滤系统的设计与实现:[硕士学位论文].上海:华东师范大学, 2008.
[12]钟延辉,傅彦,陈安龙等,基于抽样的垃圾短信过滤方法.计算机应用研究,2009,26(3):933～935.
[13]柳伯超,基于内容的不良图像识别研究:[硕士学位论文].济南:山东师范大学,2007.
[14]武晓岛,袁津生,郭敏哲等,基于对象的彩信图像检索系统的研究与实现.计算机应用研究,2008,25(11):243～264.
[15]关婧,基于内容的客户端垃圾短信过滤系统的研究:[硕士学位论文].北京:北京邮电大学,2008.
[16]李辉,张琦,卢湖川,基于内容的垃圾短信过滤.计算机工程,2008,34(12):154～156.
[17]赵晓晖,基于内容的敏感图片过滤技术的研究及其在IE浏览器中的实现:[硕士学位论文].长春:吉林大学,2005.
[18]孙竞媛,基于内容的敏感图像过滤技术的研究:[硕士学位论文].长春:吉林大学,2007.
[19]刘达志,基于内容的敏感图像过滤系统研究与设计:[硕士学位论文].郑州:中国人民解放军信息工程大学,2005.
[20]孙钦东,黄新波,王倩等,基于内容的手机短信息实时审计系统.计算机工程,2007, (13):274～276 .
[21]杨金峰,基于内容敏感图像过滤关键技术研究及应用:[硕士学位论文].长春:吉林大学,2006.
[22]贺曼丽,基于内容挖掘的垃圾短信过滤分类方法研究:[硕士学位论文].长沙:湖南大学,2007.
[23]徐佳,张卫,基于人工免疫的中文垃圾短信识别.计算机系统应用,2010,19(03):166～170.
[24]彭强,张晓飞,基于特征向量的敏感图像识别技术研究.西南交通大学学报,2007,42(1):13～18.
[25]关娜,基于文本分类算法的垃圾短信过滤技术研究:[硕士学位论文].成都:电子科技大学,2008.
[26]钟延辉,基于文本挖掘的垃圾短信过滤方法:[硕士学位论文].成都:电子科技大学,2009.
[27]钱升华,基于支持向量机的手机垃圾短信过滤器的研究:[硕士学位论文].天津:河北工业大学,2006.
[28]何蔓微,袁锐,刘建胜等,垃圾短信的智能识别和实时处理.电信科学.2008,(8):256～271.
[29]张燕,傅建明,垃圾短信的识别与追踪研究.计算机应用研究,2006,23(3):245～247.
[30]何孝金,垃圾短信过滤系统的设计与实现:[硕士学位论文].成都:电子科技大学,2009.
[31]韩晓峰,垃圾短信监控平台的设计与实现:[硕士学位论文].北京:北京邮电大学,2008.
[32]赵治生,垃圾短信治理及核心拦截系统的设计与实现:[硕士学位论文].北京:北京邮电大学,2009.
[33]陶功财,能否筑起垃圾短信防火墙.中国质量万里行,2009,( 8):135～146.
[34]涂国章,浅谈垃圾短信及其治理.法制与社会,2009,(17):278～181.
[35]王一丁,实际网络环境中不良图片的过滤方法.通信学报,2009,(s1).
[36]王斌,潘文锋,基于内容的垃圾邮件过滤技术综述[J]。中文信息学报,2005,(5)。
[37]韦薇,肖子玉,实时垃圾短信监控系统的建设方案.电信工程技术与标准化,2009,(01):135～138.
[38]刘静,余晓晔,丁立新等,基于地址与内容过滤的垃圾邮件过滤器设计[J]。华北电力大学学报,2006,(3)。
[39]张勇敢,手机垃圾短信过滤系统的研究与实现:[硕士学位论文].昆明:昆明理工大学,2007.
[40]宋妍,手机垃圾短信现状及其过滤技术.互联网天地,2008,(03):213～216.
[41]张浩,天津移动的垃圾短信监控系统的设计与实现:[硕士学位论文].天津:天津大学,2007.
[42]王硕,网络敏感图像过滤中图像数据获取技术研究,长春:吉林大学出版,2008,284～304.
[43]谷海伟,网络图像的数据捕获及敏感图像识别的关键技术研究,长春:吉林大学出版,2008,463-586.
[44]肖子玉,吕姗,信息安全与垃圾短信监控.电信工程技术与标准化,2010,03(5):354～365
[45]程卫华,尤晋元,基于内容过滤的反垃圾邮件系统的设计与实现[J]。安徽大学学报(自然科学版),2007,(3)。
[46]周骥,石教英,图像特征点匹配的强壮算法.计算机辅助设计与图形学学报, 2002, 14(8): 754-757。
[47]颜世莹,基于行为和内容协作分析的垃圾短信过滤系统.电信工程技术与标准化, 2011, 24(9): 54～59。
[48] Jolly,MPD,Lakshmanan,S,Jain,AK. Vehicle segmentation and classification using deformable templates .IEEE Trans Pattern Anal Mach Intell, 1996,18, 18 (3) :293~308。
[49] Sebastiani,F. Machine learning in automated text categorization .ACM Computing Surveys (CSUR), 2002,34, 34 (1) :1~47。
[50] Pedro F. Felzenszwalb,Daniel P. Huttenlocher. Efficient Graph-Based Image Segmentation[J] International Journal of Computer Vision, 2004,59, (2): 621-636
[2]肖明,殷锋,张楠,垃圾邮件过滤技术及发展.西南民族大学学报,2007,33(1):25～36。
[3]黄卿,封令隽,彩信内容识别业务的实现及关键技术.电信技术,2008,(7):184～185
[4]刘洋,杜孝平,黄星华,侯志辉等,垃圾邮件的智能过滤系统设计探讨。微机发展,2003, (4):1～23.
[5]贾凡,彩信网关的建设及其对彩信业务的改善.电信工程技术与标准化,2006,31(1):45～50
[6]张晶,关于过滤垃圾短信方法的研究.电脑知识与技术,2008,23(32):38～39.
[7]范晶等,基于Hash函数和贝叶斯方法的垃圾短信在线过滤系统.计算机应用2008, 4(2):42～58.
[8]田卫辉,基于J2ME的手机垃圾短信过滤器的研究与实现:[硕士学位论文].河北工业大学,2007.
[9] N. Cristianini, J. Shawe-Taylor ,and H. Lodhi. Latent Semantic Kernels .Journal of Intelligent Information Systems, 2002, (18) :127～152 .
[10]杨妮娜,王庆.基于Struts框架的垃圾短信过滤模块的设计.计算机工程,2009,35(1):283～285.
[11]曹耀辉,基于WinCE终端垃圾短信过滤系统的设计与实现:[硕士学位论文].上海:华东师范大学, 2008.
[12]钟延辉,傅彦,陈安龙等,基于抽样的垃圾短信过滤方法.计算机应用研究,2009,26(3):933～935.
[13]柳伯超,基于内容的不良图像识别研究:[硕士学位论文].济南:山东师范大学,2007.
[14]武晓岛,袁津生,郭敏哲等,基于对象的彩信图像检索系统的研究与实现.计算机应用研究,2008,25(11):243～264.
[15]关婧,基于内容的客户端垃圾短信过滤系统的研究:[硕士学位论文].北京:北京邮电大学,2008.
[16]李辉,张琦,卢湖川,基于内容的垃圾短信过滤.计算机工程,2008,34(12):154～156.
[17]赵晓晖,基于内容的敏感图片过滤技术的研究及其在IE浏览器中的实现:[硕士学位论文].长春:吉林大学,2005.
[18]孙竞媛,基于内容的敏感图像过滤技术的研究:[硕士学位论文].长春:吉林大学,2007.
[19]刘达志,基于内容的敏感图像过滤系统研究与设计:[硕士学位论文].郑州:中国人民解放军信息工程大学,2005.
[20]孙钦东,黄新波,王倩等,基于内容的手机短信息实时审计系统.计算机工程,2007, (13):274～276 .
[21]杨金峰,基于内容敏感图像过滤关键技术研究及应用:[硕士学位论文].长春:吉林大学,2006.
[22]贺曼丽,基于内容挖掘的垃圾短信过滤分类方法研究:[硕士学位论文].长沙:湖南大学,2007.
[23]徐佳,张卫,基于人工免疫的中文垃圾短信识别.计算机系统应用,2010,19(03):166～170.
[24]彭强,张晓飞,基于特征向量的敏感图像识别技术研究.西南交通大学学报,2007,42(1):13～18.
[25]关娜,基于文本分类算法的垃圾短信过滤技术研究:[硕士学位论文].成都:电子科技大学,2008.
[26]钟延辉,基于文本挖掘的垃圾短信过滤方法:[硕士学位论文].成都:电子科技大学,2009.
[27]钱升华,基于支持向量机的手机垃圾短信过滤器的研究:[硕士学位论文].天津:河北工业大学,2006.
[28]何蔓微,袁锐,刘建胜等,垃圾短信的智能识别和实时处理.电信科学.2008,(8):256～271.
[29]张燕,傅建明,垃圾短信的识别与追踪研究.计算机应用研究,2006,23(3):245～247.
[30]何孝金,垃圾短信过滤系统的设计与实现:[硕士学位论文].成都:电子科技大学,2009.
[31]韩晓峰,垃圾短信监控平台的设计与实现:[硕士学位论文].北京:北京邮电大学,2008.
[32]赵治生,垃圾短信治理及核心拦截系统的设计与实现:[硕士学位论文].北京:北京邮电大学,2009.
[33]陶功财,能否筑起垃圾短信防火墙.中国质量万里行,2009,( 8):135～146.
[34]涂国章,浅谈垃圾短信及其治理.法制与社会,2009,(17):278～181.
[35]王一丁,实际网络环境中不良图片的过滤方法.通信学报,2009,(s1).
[36]王斌,潘文锋,基于内容的垃圾邮件过滤技术综述[J]。中文信息学报,2005,(5)。
[37]韦薇,肖子玉,实时垃圾短信监控系统的建设方案.电信工程技术与标准化,2009,(01):135～138.
[38]刘静,余晓晔,丁立新等,基于地址与内容过滤的垃圾邮件过滤器设计[J]。华北电力大学学报,2006,(3)。
[39]张勇敢,手机垃圾短信过滤系统的研究与实现:[硕士学位论文].昆明:昆明理工大学,2007.
[40]宋妍,手机垃圾短信现状及其过滤技术.互联网天地,2008,(03):213～216.
[41]张浩,天津移动的垃圾短信监控系统的设计与实现:[硕士学位论文].天津:天津大学,2007.
[42]王硕,网络敏感图像过滤中图像数据获取技术研究,长春:吉林大学出版,2008,284～304.
[43]谷海伟,网络图像的数据捕获及敏感图像识别的关键技术研究,长春:吉林大学出版,2008,463-586.
[44]肖子玉,吕姗,信息安全与垃圾短信监控.电信工程技术与标准化,2010,03(5):354～365
[45]程卫华,尤晋元,基于内容过滤的反垃圾邮件系统的设计与实现[J]。安徽大学学报(自然科学版),2007,(3)。
[46]周骥,石教英,图像特征点匹配的强壮算法.计算机辅助设计与图形学学报, 2002, 14(8): 754-757。
[47]颜世莹,基于行为和内容协作分析的垃圾短信过滤系统.电信工程技术与标准化, 2011, 24(9): 54～59。
[48] Jolly,MPD,Lakshmanan,S,Jain,AK. Vehicle segmentation and classification using deformable templates .IEEE Trans Pattern Anal Mach Intell, 1996,18, 18 (3) :293~308。
[49] Sebastiani,F. Machine learning in automated text categorization .ACM Computing Surveys (CSUR), 2002,34, 34 (1) :1~47。
[50] Pedro F. Felzenszwalb,Daniel P. Huttenlocher. Efficient Graph-Based Image Segmentation[J] International Journal of Computer Vision, 2004,59, (2): 621-636