网络多媒体信息处理系统中图像分析算法的设计和实现
|
摘要
目前网络上涌现了海量的视频数据,其中存在大量非法信息的问题,本文针对这一情况提出了多媒体信息处理系统的背景和总体设计方案。该系统分为疑似非法视频的发现和分析两大部分,目的是为了从大量视频源中发现疑似非法视频的关键帧。然后对其进行分析和比较,确定其内容的特性,以便对确定的非法视频给予预警、截获链接源或上报相关部门等一系列后续处理。
系统发现部分通过搜索技术对介绍性网页进行快速查找来发现非法文本信息,确定非法视频流链接。该部分采用分类网页新词抽取方法和信息熵的方法抽取网络中的高频词语作为关键字集合,并进行自主学习。将这些关键字作为非法视频流介绍性网页的特征,利用特征选择算法,利用搜索引擎进行查询并根据查询结果改进特征的权值,从而自动搜寻到最合适的关键字。
分析部分是本文的重点内容,采用了流媒体中相对音频文件来说更容易获取、存储和处理的视频文件进行处理。通过分析影像是否含有非法台标来判断该链接是否合法;在未发现违法台标的情况下,采用目前最具有直接性和可行性的字幕检测方式,通过字幕信息分析其内容,再对该内容进行跟踪处理,从而进一步实现非法流媒体的诊断工作。
系统分析部分的实现主要依靠以下两个算法,一是对图像或图标的匹配。首先对图像进行预处理,采用OTUS阈值分割法,平均梯度算法提取轮廓,二次阈值处理,Hilditch细化骨架边缘四个步骤得到有效预处理图像。然后,采用一种新的特征点选取算法,该算法结合图像骨架线条端点和图像的分块重心进行特征点选定。最后,采用设立坐标系和多重循环匹配法匹配两幅图像。二是对图像中的字幕部分进行检测和提取。对连通区域的确定采用了在传统膨胀图像的基础上进行分块处理的方法,使得到的连通区域可以覆盖全部的字幕区域,且文字之间基本不存在空隙。同时改进字幕约束条件的制定规则,使之适应字幕的提取。最后搭建实验平台对所提出的算法进行验证。实验结果表明其准确性和高效性。
This paper aims at dealing with the emergence of a large number of illegal information which comes from the massive network video data currently. First of all, it introduces a multi-media information processing system and then the background of some related programming design. The whole system is divided into two parts, the discovery part and the analysis part of the suspected illegal video, which purposed to find all the suspected illegal video by their key frames. And then, do analysis and comparison to the suspected video frame in order to identify the characteristics of the contents. After that, we can give warnings to the certain illegal video.
This system takes the popular search technology, which can discovery the illegal text information much easy and quickly by rapidly querying the introductory page, to identify the illegal streaming video links. It can extract the high-frequency words as a keywords base and to do self-study by using the new words classified website extraction method and the information entropy method. These keywords will be the features of the illegal streaming video on the website and then can search the most probably keywords automatically by using feature selection algorithm.
The focus of this paper is on the second part of the whole system, anglicizing the doubtful illegal video files. Firstly, we can detect icons from each video image in order to see if it comes from an illegal channel. And then, deal with the content of the images which has no illegal icons. Subtitle testing is the most direct and easy method to diagnosis the illegal streaming media.
Here, we design two algorithms, which have some optimized and improved based on the traditional ways, to obtain the effect referred before and also. One is to match the images and the icons after extracting the features, the other is to detect and extract the subtitles of the images. For the first one, do some pretreatment to the images, such as using OTUS threshold segmentation method to devise the whole picture, getting the contour by average gradient algorithm, then do threshold segmentation again to complete the pretreatment processing. For the second one, we use block disposal method based on the traditional expansion way to insure the general region. Then the subtitles region can be connected, and there is no gap between these subtitles text. At the same time, we improve the rules formulation of the restrictive conditions to meet the extraction subtitles.
In order to verify these new algorithms, we build the experimental platform at last, and the results of this experiment show the accurate and efficient of which as expected.
系统发现部分通过搜索技术对介绍性网页进行快速查找来发现非法文本信息,确定非法视频流链接。该部分采用分类网页新词抽取方法和信息熵的方法抽取网络中的高频词语作为关键字集合,并进行自主学习。将这些关键字作为非法视频流介绍性网页的特征,利用特征选择算法,利用搜索引擎进行查询并根据查询结果改进特征的权值,从而自动搜寻到最合适的关键字。
分析部分是本文的重点内容,采用了流媒体中相对音频文件来说更容易获取、存储和处理的视频文件进行处理。通过分析影像是否含有非法台标来判断该链接是否合法;在未发现违法台标的情况下,采用目前最具有直接性和可行性的字幕检测方式,通过字幕信息分析其内容,再对该内容进行跟踪处理,从而进一步实现非法流媒体的诊断工作。
系统分析部分的实现主要依靠以下两个算法,一是对图像或图标的匹配。首先对图像进行预处理,采用OTUS阈值分割法,平均梯度算法提取轮廓,二次阈值处理,Hilditch细化骨架边缘四个步骤得到有效预处理图像。然后,采用一种新的特征点选取算法,该算法结合图像骨架线条端点和图像的分块重心进行特征点选定。最后,采用设立坐标系和多重循环匹配法匹配两幅图像。二是对图像中的字幕部分进行检测和提取。对连通区域的确定采用了在传统膨胀图像的基础上进行分块处理的方法,使得到的连通区域可以覆盖全部的字幕区域,且文字之间基本不存在空隙。同时改进字幕约束条件的制定规则,使之适应字幕的提取。最后搭建实验平台对所提出的算法进行验证。实验结果表明其准确性和高效性。
This paper aims at dealing with the emergence of a large number of illegal information which comes from the massive network video data currently. First of all, it introduces a multi-media information processing system and then the background of some related programming design. The whole system is divided into two parts, the discovery part and the analysis part of the suspected illegal video, which purposed to find all the suspected illegal video by their key frames. And then, do analysis and comparison to the suspected video frame in order to identify the characteristics of the contents. After that, we can give warnings to the certain illegal video.
This system takes the popular search technology, which can discovery the illegal text information much easy and quickly by rapidly querying the introductory page, to identify the illegal streaming video links. It can extract the high-frequency words as a keywords base and to do self-study by using the new words classified website extraction method and the information entropy method. These keywords will be the features of the illegal streaming video on the website and then can search the most probably keywords automatically by using feature selection algorithm.
The focus of this paper is on the second part of the whole system, anglicizing the doubtful illegal video files. Firstly, we can detect icons from each video image in order to see if it comes from an illegal channel. And then, deal with the content of the images which has no illegal icons. Subtitle testing is the most direct and easy method to diagnosis the illegal streaming media.
Here, we design two algorithms, which have some optimized and improved based on the traditional ways, to obtain the effect referred before and also. One is to match the images and the icons after extracting the features, the other is to detect and extract the subtitles of the images. For the first one, do some pretreatment to the images, such as using OTUS threshold segmentation method to devise the whole picture, getting the contour by average gradient algorithm, then do threshold segmentation again to complete the pretreatment processing. For the second one, we use block disposal method based on the traditional expansion way to insure the general region. Then the subtitles region can be connected, and there is no gap between these subtitles text. At the same time, we improve the rules formulation of the restrictive conditions to meet the extraction subtitles.
In order to verify these new algorithms, we build the experimental platform at last, and the results of this experiment show the accurate and efficient of which as expected.
引文
[1](2006年中国网络视频研究报告》.http://www.iresearch.com.cn/html/Online Movie/detail_report id_37894.html
[2]刘华.一种快速获取领域新词语的新方法.中文信息学报[J].2006年20期(5):17-23.
[3]任禾,曾隽芳.一种基于信息熵的中文高频词抽取算法[J].中文信息学报.2006年20期(3):40-50.
[4]杨友庆,高隽,鲍捷,杨学东.基于视频的字幕检索与提取[J].计算机应用.2000年10月:33-35.
[5]蔡波,周洞汝,朱映映.基于直线抽取的数字视频全局文字提取的研究[J].武汉大学学报(工学版).2005年8月,第38卷4期:104-108.
[6]段崇雯,侯臣平.一种基于二值化合亚采样的文本图象压缩办法[J].计算机应用.2005年6月,第25卷第一期:93-95.
[7]钟敏娟,凌传繁,白耀辉,郭攀.CDSE:一个面向领域的智能搜索引擎[J].计算机工程.2006年24期(12):206-208.
[8]康桂英等.新一代智能搜索引擎网典研究[J].情报理论与实践,2000,(3):218-220.
[9]于琨,糜仲春,蔡庆生.可应用于互联网的自学习中文关键词抽取算法[J].中国科学技术大学学报.2002.32(3):381-384
[10]奚杰.图象和视频中文字信息的抽取[D].上海.复旦大学.2002
[11]Kolmogorov V.Graph Based Algorithms for Scene Reconstruction University,From Two or More Views[D].The Graduate School of Cornell.2004.
[12]MORI.Historical review of OCR research and development[J].Proceedings of IEEE.1992,80(7):1029-1058.
[13]付渂,高芸,黄祥林.文档图像分割技术研究[J].计算机技术与应用进展.2006:411-414.
[14]卿来云,王伟强,高文.文字自动提取及其在视频索引和检索中的应用[J].中国科学院计算技术研究所第七届计算机科学与技术研究生学术 讨论会.2002年7月13日.四川广元.
[15]求是科技.Visual C++数字图像处理典型算法及实现[M].北京.人民邮电出版社.2006年6月.
[16]Rafael C Gonzalez,Richard E Woods著,阮秋琦,阮宇智译.数字图像处理(第二版)[M].电子工业出版社,2003年3月.
[17]章敏普 编著.图像处理和分析[M].北京:清华大学出版社,1999年.
[18]温佩芝,史泽林,于海滨.复杂海面背景红外小目标自动检测方法研究[J].红外与激光工程2003年32期(6):590-593.
[19]刘鸿飞,陈凡胜,孙胜利,陈桂林.空间目标成像的边缘检测方法研究.中国科学院上海技术物理研究所,中国科学院研究生院(北京),中国科学院研究生院.科学技术与工程.Science Technology and Engineering,2007年17期.
[20]李恪,王江安,郭谊.细化算法在舰船热尾流红外图像处理中的应用海军工程大学电子工程学院光电研究所:海军工程大学电子工程学院光电研究所湖北武汉:湖北武汉:红外技术,Infrared Technology,2007年11期.
[21]贾瑜,饶建辉.一种对文字图像细化的改进Hilditch算法研究武汉工业学院学报,Journal of Wuhan Polytechnic University,2006年3期.
[22]何斌,马天予,王运坚,等.Visual C++数字图像处理[M].北京:人民邮电出版社,2001
[23]杨宝军.基于图像处理的笔迹鉴别[D].河南:河南工业大学硕士学位论文.
[24]Shimizu,M.,Fukuda,H.,Nakamura,G.A thinning algorithm for digital figures of characters[J].Image Analysis and Interpretation,2000.Proceedings.4th IEEE Southwest Symposium 2-4 April 2000 Page(s):83-87.
[25]喻平.手写汉字二值化算法与骨架提取方法[D].西安:西安交通大学.
[26]许洋洋,袁华.一种基于内容的广告垃圾图像过滤的方法[J].山东大学学报(理学版).2006年6月.第41卷第3期:37-42.
[27]刘文萍,付晓玲,赵会群,李晓丽.一种新的彩色图像文字提取算法 [J].计算机工程与应用.2005(21):79-82
[28]焦保军 基于新闻视频字幕的检测与提取分析[D].南京:南京理工大学.2007年.
[29]高平利.视频理解和检索中文字的检测与提取技术研究[D].西安:西北工业大学.2005年.
[30]王树文,闫成新,张天序,赵广州.数学形态学在图像处理中的应用[J].计算机工程与应用.Computer Engineering and Applications.2004年32期.
[31]季丽琴,王加俊.视频图像内文字的自动提取新方法[J].苏州大学学报(自然科学版).2006年4月.22卷第2期:43-47.
[32]马小勇,谢萍,张宪民.视频帧中提取文字区域的算法[J].计算机工程.2003年6月29卷第9期:155-157
[33]叶娜,罗海涛,朱靖波,张斌.基于归纳逻辑编程的多槽信息抽取规则自动学习方法[J].全国第八届计算语言学联合学术会议.2005年8月.
[2]刘华.一种快速获取领域新词语的新方法.中文信息学报[J].2006年20期(5):17-23.
[3]任禾,曾隽芳.一种基于信息熵的中文高频词抽取算法[J].中文信息学报.2006年20期(3):40-50.
[4]杨友庆,高隽,鲍捷,杨学东.基于视频的字幕检索与提取[J].计算机应用.2000年10月:33-35.
[5]蔡波,周洞汝,朱映映.基于直线抽取的数字视频全局文字提取的研究[J].武汉大学学报(工学版).2005年8月,第38卷4期:104-108.
[6]段崇雯,侯臣平.一种基于二值化合亚采样的文本图象压缩办法[J].计算机应用.2005年6月,第25卷第一期:93-95.
[7]钟敏娟,凌传繁,白耀辉,郭攀.CDSE:一个面向领域的智能搜索引擎[J].计算机工程.2006年24期(12):206-208.
[8]康桂英等.新一代智能搜索引擎网典研究[J].情报理论与实践,2000,(3):218-220.
[9]于琨,糜仲春,蔡庆生.可应用于互联网的自学习中文关键词抽取算法[J].中国科学技术大学学报.2002.32(3):381-384
[10]奚杰.图象和视频中文字信息的抽取[D].上海.复旦大学.2002
[11]Kolmogorov V.Graph Based Algorithms for Scene Reconstruction University,From Two or More Views[D].The Graduate School of Cornell.2004.
[12]MORI.Historical review of OCR research and development[J].Proceedings of IEEE.1992,80(7):1029-1058.
[13]付渂,高芸,黄祥林.文档图像分割技术研究[J].计算机技术与应用进展.2006:411-414.
[14]卿来云,王伟强,高文.文字自动提取及其在视频索引和检索中的应用[J].中国科学院计算技术研究所第七届计算机科学与技术研究生学术 讨论会.2002年7月13日.四川广元.
[15]求是科技.Visual C++数字图像处理典型算法及实现[M].北京.人民邮电出版社.2006年6月.
[16]Rafael C Gonzalez,Richard E Woods著,阮秋琦,阮宇智译.数字图像处理(第二版)[M].电子工业出版社,2003年3月.
[17]章敏普 编著.图像处理和分析[M].北京:清华大学出版社,1999年.
[18]温佩芝,史泽林,于海滨.复杂海面背景红外小目标自动检测方法研究[J].红外与激光工程2003年32期(6):590-593.
[19]刘鸿飞,陈凡胜,孙胜利,陈桂林.空间目标成像的边缘检测方法研究.中国科学院上海技术物理研究所,中国科学院研究生院(北京),中国科学院研究生院.科学技术与工程.Science Technology and Engineering,2007年17期.
[20]李恪,王江安,郭谊.细化算法在舰船热尾流红外图像处理中的应用海军工程大学电子工程学院光电研究所:海军工程大学电子工程学院光电研究所湖北武汉:湖北武汉:红外技术,Infrared Technology,2007年11期.
[21]贾瑜,饶建辉.一种对文字图像细化的改进Hilditch算法研究武汉工业学院学报,Journal of Wuhan Polytechnic University,2006年3期.
[22]何斌,马天予,王运坚,等.Visual C++数字图像处理[M].北京:人民邮电出版社,2001
[23]杨宝军.基于图像处理的笔迹鉴别[D].河南:河南工业大学硕士学位论文.
[24]Shimizu,M.,Fukuda,H.,Nakamura,G.A thinning algorithm for digital figures of characters[J].Image Analysis and Interpretation,2000.Proceedings.4th IEEE Southwest Symposium 2-4 April 2000 Page(s):83-87.
[25]喻平.手写汉字二值化算法与骨架提取方法[D].西安:西安交通大学.
[26]许洋洋,袁华.一种基于内容的广告垃圾图像过滤的方法[J].山东大学学报(理学版).2006年6月.第41卷第3期:37-42.
[27]刘文萍,付晓玲,赵会群,李晓丽.一种新的彩色图像文字提取算法 [J].计算机工程与应用.2005(21):79-82
[28]焦保军 基于新闻视频字幕的检测与提取分析[D].南京:南京理工大学.2007年.
[29]高平利.视频理解和检索中文字的检测与提取技术研究[D].西安:西北工业大学.2005年.
[30]王树文,闫成新,张天序,赵广州.数学形态学在图像处理中的应用[J].计算机工程与应用.Computer Engineering and Applications.2004年32期.
[31]季丽琴,王加俊.视频图像内文字的自动提取新方法[J].苏州大学学报(自然科学版).2006年4月.22卷第2期:43-47.
[32]马小勇,谢萍,张宪民.视频帧中提取文字区域的算法[J].计算机工程.2003年6月29卷第9期:155-157
[33]叶娜,罗海涛,朱靖波,张斌.基于归纳逻辑编程的多槽信息抽取规则自动学习方法[J].全国第八届计算语言学联合学术会议.2005年8月.