基于内容的视频高效检索技术的研究
|
摘要
近年来，随着计算机和网络通信等技术的高速发展，Internet上的信息种类和数量与日俱增。如何从这个海量的多媒体信息库中找到需要的多媒体信息已经成为一个重要的课题。针对这一需求，本文将研究重点放在最常见的媒质—视频，视频结构化和视频特征的选择组织是视频信息检索中的两个主要技术，本文围绕这两方面展开。
文章首先介绍视频结构化的内容以及相应的各种算法，着重对镜头分割中的自动门限算法进行改进，同时分析经典的关键帧提取方法在MPEG格式的压缩视频中提取关键帧的应用，并详细介绍了MPEG-7的全部描述符及描述方案，研究其在基于内容的特征组织中的应用，并作了相应的实现。
在上述研究的基础上文章给出了通用的基于内容的视频高效检索试验原型系统的设计方案。
最后对本论文的研究内容作了简单的总结，指出视频检索的研究前景和方向。
Recently, with the rapid development of the computer, network and communication technologies, the amount and types of information are booming over the Internet day and day. How to get the required information from this huge multimedia library is becoming a very important subject. This thesis is proposed according to this requirement and put emphasis on video. The researching content is about video structure analysis and the description principle of features.
Firstly, introductions to the content of video structure analysis and the algorisms about it. According to the importance of shot segmentation in content-based retrieval or CBR, we have progressed the automatic threshold detection method. Experiments show that this progressed algorism can provide satisfactory shot segmentation results in common video data. Secondly, how to apply classic key-frame extraction methods to compact video have been proposed in this paper.
Thirdly, MPEG-7 descriptors and description schemes are detailed given. Then, feature definition, representation and retrieval forms in MPEG-7 as well as its application in video retrieval are discussed.
At present, Most of research in content-based video retrieval is in the theory part and there is no successful system to all kinds of video. My paper mainly focused on the theoretical research and a universal video retrieval system is devised.
Finally, the application prospect and future trend of CBR are approved in the summarization of the whole thesis.
文章首先介绍视频结构化的内容以及相应的各种算法，着重对镜头分割中的自动门限算法进行改进，同时分析经典的关键帧提取方法在MPEG格式的压缩视频中提取关键帧的应用，并详细介绍了MPEG-7的全部描述符及描述方案，研究其在基于内容的特征组织中的应用，并作了相应的实现。
在上述研究的基础上文章给出了通用的基于内容的视频高效检索试验原型系统的设计方案。
最后对本论文的研究内容作了简单的总结，指出视频检索的研究前景和方向。
Recently, with the rapid development of the computer, network and communication technologies, the amount and types of information are booming over the Internet day and day. How to get the required information from this huge multimedia library is becoming a very important subject. This thesis is proposed according to this requirement and put emphasis on video. The researching content is about video structure analysis and the description principle of features.
Firstly, introductions to the content of video structure analysis and the algorisms about it. According to the importance of shot segmentation in content-based retrieval or CBR, we have progressed the automatic threshold detection method. Experiments show that this progressed algorism can provide satisfactory shot segmentation results in common video data. Secondly, how to apply classic key-frame extraction methods to compact video have been proposed in this paper.
Thirdly, MPEG-7 descriptors and description schemes are detailed given. Then, feature definition, representation and retrieval forms in MPEG-7 as well as its application in video retrieval are discussed.
At present, Most of research in content-based video retrieval is in the theory part and there is no successful system to all kinds of video. My paper mainly focused on the theoretical research and a universal video retrieval system is devised.
Finally, the application prospect and future trend of CBR are approved in the summarization of the whole thesis.
引文
1．李学明。基于内容的多媒体信息检索与MPEG—7。中国计算机报。1999(84)．
2．庄越挺，潘云鹤，吴飞。网上多媒体信息分析与检索。第一版。北京：清华大学出版社，2002．
3. ISO/IEC JTC1/SC29/WG11.Overview of the MPEG-7 Standard(version 9.0).http://www.chiariglione.org//mpeg/standards/mpeg-7/mpeg-7.htm.
4．万华林 胡宏 史忠植。信息检索的革命——基于内容的多媒体信息检索。微电脑世界。2001(11)．
5．刘政凯，汤晓鸥。视频检索中镜头分割方法综述。计算机工程与应用，2002(23)：84-87．
6．朱兴全，薛向阳，吴立得。一种自动门限选取的视频shot分割方法。计算机研究与发展。2000(37)：80-85．
7．罗斯青，杨宁昆，余兆明。一种基于内容的数字视频典型帧提取方法。数字电视与数字视频。2002(12)．
8. ISO/IEC JTC 1/SC29/WG 11.Mutimdia Content Description Interface-Part 3:Visual
9. ISO/IEC JTC 1/SC29/WG11.MPEG-7Visual part of Experimentation Model Version 8.0
10．邬正平。视频对象分割技术的研究。浙江大学硕士学位论文。2002：9-16．
11. S.W.Lee, J.G.Choi and S. D.Kim.Automatic segment of moving objects for video object plane generation, IEEE Transaction on Circuits and Systems for Video Technology, 1997.vol.7:279-286.
12. Neri,S.Colormese,G.Russo and P.Talone, Automatic moving object and background separation, Signal Processing, 1998.vol.66:219-232.
13. R.Mech and M.Wollborm, A noise robust method for segmentation of moving objects in video sequence, in Proceedings ICASSP'97(IEEE International Conference on Acoustics, Speech and Signal Processing). 1997.vol.4:2657-2660.
14. Kim M, Jeon J G, Kwak J,et al.User's guide for a user-assisted video object segmentation tool. ISO/IEC JTC 1/SC29/WG11 MPEG98/m3935, 1998.
15. Colonnese S, Russo G. User Interactions modes in semi-automatic segmentation: development of a flexible graphical user interface in java. ISO/IEC JTC1/SC29/WG11 MPEG98/m3320, 1998.
16．樊昀。基于内容图像检索的一些关键技术研究。国防科技大学博士学位论文。2001：54-66，86-89．
17．作者不详。基于内容图像检索技术的研究。南大博士论文。2003：32-86
18. Fernando Pereira.MPEG-7:A STANDARD FOR DESCRIBING AUDIOVISUAL INFORMATION. The Institution of Electrical Engineers. 1998.
19. PEG Requirements Group.MPEG-7:context and objectives. Doe.ISO/MPEG Atlantic City Meeting. 1998.
20. MPEG Requirements Group.MPEG-7 proposal Package Deseription(PPD). Doc.ISO/MPEG N2464. MPEG Atlantic City Meeting. 1998.
21．钟玉琢。多媒体技术。第一版。北京：清华大学出版社，1999。
22．赵锐。基于内容检索的多媒体数据库系统研究。辽宁工程技术大学硕士学位论文。2002：85-87．
23．任建四。基于内容的视频检索研究。华中师范大学硕士学位论文。2002,5．
24．王雪飞。基于内容图像检索技术研究。大连理工大学硕士学位论文。2002,3
25. Kadir Askin Peker. VIDEO INDEXING AND SUMMARIZATION USING MOTION ACTIVITY. http://www.merl.com/papers/docs/TR2003-34.pdf.
26. A.Mufit Ferman. Clustering Methods for Content-Based Video Analysis. http://media.cs.tsinghua.edu.cn/-lizhao/research analysis.php3.
27. Di Zhong. Segmentation, Index and Summarization of Digital Video Content. Columbia University,2001.
28. Dan Lelescu. VORTEX RETRIEVAL AND TRACKING FROM COMPRESSED MULTIMEDIA DATABASES. University of Illinois at Chicago,2001.
29. Youngchoon Park. A FRAMEWORK FOR DESCRIPTION, SHARING AND RETRIEVAL OF INFORMATION.ARIZONA STATE UNIVERSITY.2002.
30. Peng Wu. Search and Indexing of High Dimensional Feature Spaces for Similarity Retrieval. University of California Santa Barbara.2001.
31．孙季丰，徐行。视频检索中关键帧选取的时间自适应算法。多媒体技术及应用。2003,29(7)
32．王惠锋，孙正兴。一种面向图像语义的主要区域提取方法。中国图形图像学报。2003，8(1)
33．王朝晖，龚声荣，唐国维。基于内容的图像检索中的一种多维索引算法。计算机工程与应用。2003．9：112-114
34．白雪生，全国英，徐光佑。基于帧间运动的视频分割。清华大学学报。2002，42(1)．
35．贾振堂，贺贵明，韩艳芳。运动视频对象分割的一种快速算法。中国图像图形学报。2002,7(11)．
35．任和，梅林，吴立得。在MPEG视频上的语义对象分割改进算法。计算机研究与
发展。2003 40(3)
36．吴翌，庄越挺，潘云鹤。视频的检索反馈。计算机研究与发展。2001，38(5)
37．罗斯青，杨宁昆，余兆明。一种基于内容的数字视频典型帧提取方法。数字电视与数字视频。2002，12
38．庄越挺，刘小明，吴翌，潘云鹤。通过例子视频进行检索的新方法。计算机学报。2000，23(3)
39．杨胜，钟玉琢。一种从MPEG压缩视频流中提取关键帧的方法。中国图像图形学报。2001，6(3)
40．王绍棣，黎晓茹。视频流分镜头的研究。南京邮电学院学报1999，19(2)
41．熊华，胡晓峰，曹莉华，柳伟。基于镜头的视频场景构造方法研究。小型微型计算机系统。2000，21(6)
42．邹新立。面向MPEG-7的多媒体数据库设计与实现。西北工业大学硕士学位论文。2002：17-22，50-55．
2．庄越挺，潘云鹤，吴飞。网上多媒体信息分析与检索。第一版。北京：清华大学出版社，2002．
3. ISO/IEC JTC1/SC29/WG11.Overview of the MPEG-7 Standard(version 9.0).http://www.chiariglione.org//mpeg/standards/mpeg-7/mpeg-7.htm.
4．万华林 胡宏 史忠植。信息检索的革命——基于内容的多媒体信息检索。微电脑世界。2001(11)．
5．刘政凯，汤晓鸥。视频检索中镜头分割方法综述。计算机工程与应用，2002(23)：84-87．
6．朱兴全，薛向阳，吴立得。一种自动门限选取的视频shot分割方法。计算机研究与发展。2000(37)：80-85．
7．罗斯青，杨宁昆，余兆明。一种基于内容的数字视频典型帧提取方法。数字电视与数字视频。2002(12)．
8. ISO/IEC JTC 1/SC29/WG 11.Mutimdia Content Description Interface-Part 3:Visual
9. ISO/IEC JTC 1/SC29/WG11.MPEG-7Visual part of Experimentation Model Version 8.0
10．邬正平。视频对象分割技术的研究。浙江大学硕士学位论文。2002：9-16．
11. S.W.Lee, J.G.Choi and S. D.Kim.Automatic segment of moving objects for video object plane generation, IEEE Transaction on Circuits and Systems for Video Technology, 1997.vol.7:279-286.
12. Neri,S.Colormese,G.Russo and P.Talone, Automatic moving object and background separation, Signal Processing, 1998.vol.66:219-232.
13. R.Mech and M.Wollborm, A noise robust method for segmentation of moving objects in video sequence, in Proceedings ICASSP'97(IEEE International Conference on Acoustics, Speech and Signal Processing). 1997.vol.4:2657-2660.
14. Kim M, Jeon J G, Kwak J,et al.User's guide for a user-assisted video object segmentation tool. ISO/IEC JTC 1/SC29/WG11 MPEG98/m3935, 1998.
15. Colonnese S, Russo G. User Interactions modes in semi-automatic segmentation: development of a flexible graphical user interface in java. ISO/IEC JTC1/SC29/WG11 MPEG98/m3320, 1998.
16．樊昀。基于内容图像检索的一些关键技术研究。国防科技大学博士学位论文。2001：54-66，86-89．
17．作者不详。基于内容图像检索技术的研究。南大博士论文。2003：32-86
18. Fernando Pereira.MPEG-7:A STANDARD FOR DESCRIBING AUDIOVISUAL INFORMATION. The Institution of Electrical Engineers. 1998.
19. PEG Requirements Group.MPEG-7:context and objectives. Doe.ISO/MPEG Atlantic City Meeting. 1998.
20. MPEG Requirements Group.MPEG-7 proposal Package Deseription(PPD). Doc.ISO/MPEG N2464. MPEG Atlantic City Meeting. 1998.
21．钟玉琢。多媒体技术。第一版。北京：清华大学出版社，1999。
22．赵锐。基于内容检索的多媒体数据库系统研究。辽宁工程技术大学硕士学位论文。2002：85-87．
23．任建四。基于内容的视频检索研究。华中师范大学硕士学位论文。2002,5．
24．王雪飞。基于内容图像检索技术研究。大连理工大学硕士学位论文。2002,3
25. Kadir Askin Peker. VIDEO INDEXING AND SUMMARIZATION USING MOTION ACTIVITY. http://www.merl.com/papers/docs/TR2003-34.pdf.
26. A.Mufit Ferman. Clustering Methods for Content-Based Video Analysis. http://media.cs.tsinghua.edu.cn/-lizhao/research analysis.php3.
27. Di Zhong. Segmentation, Index and Summarization of Digital Video Content. Columbia University,2001.
28. Dan Lelescu. VORTEX RETRIEVAL AND TRACKING FROM COMPRESSED MULTIMEDIA DATABASES. University of Illinois at Chicago,2001.
29. Youngchoon Park. A FRAMEWORK FOR DESCRIPTION, SHARING AND RETRIEVAL OF INFORMATION.ARIZONA STATE UNIVERSITY.2002.
30. Peng Wu. Search and Indexing of High Dimensional Feature Spaces for Similarity Retrieval. University of California Santa Barbara.2001.
31．孙季丰，徐行。视频检索中关键帧选取的时间自适应算法。多媒体技术及应用。2003,29(7)
32．王惠锋，孙正兴。一种面向图像语义的主要区域提取方法。中国图形图像学报。2003，8(1)
33．王朝晖，龚声荣，唐国维。基于内容的图像检索中的一种多维索引算法。计算机工程与应用。2003．9：112-114
34．白雪生，全国英，徐光佑。基于帧间运动的视频分割。清华大学学报。2002，42(1)．
35．贾振堂，贺贵明，韩艳芳。运动视频对象分割的一种快速算法。中国图像图形学报。2002,7(11)．
35．任和，梅林，吴立得。在MPEG视频上的语义对象分割改进算法。计算机研究与
发展。2003 40(3)
36．吴翌，庄越挺，潘云鹤。视频的检索反馈。计算机研究与发展。2001，38(5)
37．罗斯青，杨宁昆，余兆明。一种基于内容的数字视频典型帧提取方法。数字电视与数字视频。2002，12
38．庄越挺，刘小明，吴翌，潘云鹤。通过例子视频进行检索的新方法。计算机学报。2000，23(3)
39．杨胜，钟玉琢。一种从MPEG压缩视频流中提取关键帧的方法。中国图像图形学报。2001，6(3)
40．王绍棣，黎晓茹。视频流分镜头的研究。南京邮电学院学报1999，19(2)
41．熊华，胡晓峰，曹莉华，柳伟。基于镜头的视频场景构造方法研究。小型微型计算机系统。2000，21(6)
42．邹新立。面向MPEG-7的多媒体数据库设计与实现。西北工业大学硕士学位论文。2002：17-22，50-55．