AVS视频编解码标准的研究及其在DSP上的实现
摘要
数字视频多媒体技术由于其较高的质量和较强的抗误码性能,越来越受到人们的欢迎。但数字视频多媒体的数据量巨大,网络有限的带宽无法支持。需要首先对其进行压缩编码,然后才能进行存储和传输。因此,视频编码技术在数字视频多媒体技术领域起着至关重要的作用。AVS作为我国自主研发的音视频编解码标准,是目前最先进的音视频压缩编解码标准之一。它具有性能高、计算复杂度低、专利授权费用低等优点,有广阔的应用前景。
DSP作为一种专用的数据处理芯片,以其开发周期短、使用灵活、代码可更新升级等特点,在视频编解码技术领域得到了广泛的应用。Blackfin系列DSP作为ADI公司与Intel公司联合开发的高性能的定点DSP产品,特别适合应用于对功耗、运算能力等方面要求比较高的音频、视频和通信领域。
将AVS先进的编解码技术和稳定的DSP处理器相结合,达到高效的视频压缩性能,具有很高的工程意义和市场价值。本课题正是在这样的背景下提出的。
本文首先对视频编码的基本理论和相关标准进行了介绍,然后重点研究了AVS视频编解码标准,包括AVS视频标准主要技术、AVS视频标准与其他主流视频编解码标准的对比、AVS视频标准的知识产权状况及AVS标准的发展前景等。同时对Blackfin系列DSP的特点、结构和软硬件开发环境等也做了简单介绍。
本文在详细研究Blackfin系列DSP和AVS视频编解码标准特点的基础上,以ADSP-BF561评估开发板为核心完成编解码器硬件平台的设计。并在嵌入式ucLinux操作系统和Blackfin交叉编译环境下完成AVS视频解码算法在ADSP-BF561上的移植。
本文以解码器优化为主线,针对ADSP-BF561平台的软硬件特点,对移植后的AVS视频编解码算法进行了一系列的优化,包括编译器优化、DMA优化、算法流程优化、存储结构优化和汇编指令优化等。由于核心解码模块的优化是解码器速度提高的关键,因此本文针对AVS解码器的特点,对AVS视频解码器中的子像素插值、整数(反)变换、去块效应滤波等核心功能模块进行了重点地分析和优化。测试结果表明,本文所做优化工作大大提高了解码器效率,且解码图像主观质量良好,达到了本课题预期的要求。
The digital video multimedia technology receives increasing attention for its high quality and high error resilience. But it contains enormous data and couldn't be supported by current network bandwith. Compression must be done to meet the requirements of storage and transport. So video coding technology is a key in the digital video multimedia technology field. AVS is a video/audio encoding and decoding standard developed by China independently, and it is one of the most advanced video compression standards that are available. It has many good advantages, including good performance, low complexity algorithm, low patent licensing fees and so on. We have reason to forecast that AVS can find many application fields.
As one kind of special data processing chipes, DSP has been wildly used in video encoding/decoding technology field for its short exploitation period, flexibility and updatable features. Blackfin family DSP, which is developed by Analog Devices Inc. and Intel Corporation, is a fixed-point DSP product with high performance, and it is designed specifically to meet the upper computational demands and power constraint of audio, video and communications domain.
It is significant in both engineering application and market value to combine advanced technique of AVS and stable DSP together which achieves a better video compression performance. This project is put forward in this background.
The dissertation begins with the introduction of the basic theories and relative standards of video coding. And then it mainly researches AVS video coding standard, including main technology of AVS video standard, comparison between AVS video standard and other video coding standards, the IPR(Intellectual Property Rights) status and the development prospect of AVS video standard, etc. It also introduces the properties, structure and development environment of Blackfin family DSP.
Employing ADSP-BF561 EZ-KIT LITE evaluation board and AVS video standard, the dissertation designs the CODEC(Coder-Decoder) hardware platform. Relying on embedded ucLinux OS(operating system) and Blackfin cross compiling environment, AVS video CEDEC algorithm is transplanted to ADSP-BF561 platform.
According to the properties of ADSP-BF561, the dissertation optimizes the AVS video CODEC algorithm invoking compiler optimization, DMA optimization, algorithm flow optimization, storage structure optimization and assembly instructions optimization. The optimization is concentrated on decoder optimization. Because the optimization of core decoder module is a key to improve the speed of decoder. The dissertation mainly analyze and optimize the core modules of decoder, including sub-pixel interpolation, integer transform(inverse transform), deblocking loopfilter, etc. Test results show that the optimizing methods put forward in this dissertation significantly improve the efficiency of AVS decoder, and the subject quality of decoded image is good. It also meets the requirements of the design.
DSP作为一种专用的数据处理芯片,以其开发周期短、使用灵活、代码可更新升级等特点,在视频编解码技术领域得到了广泛的应用。Blackfin系列DSP作为ADI公司与Intel公司联合开发的高性能的定点DSP产品,特别适合应用于对功耗、运算能力等方面要求比较高的音频、视频和通信领域。
将AVS先进的编解码技术和稳定的DSP处理器相结合,达到高效的视频压缩性能,具有很高的工程意义和市场价值。本课题正是在这样的背景下提出的。
本文首先对视频编码的基本理论和相关标准进行了介绍,然后重点研究了AVS视频编解码标准,包括AVS视频标准主要技术、AVS视频标准与其他主流视频编解码标准的对比、AVS视频标准的知识产权状况及AVS标准的发展前景等。同时对Blackfin系列DSP的特点、结构和软硬件开发环境等也做了简单介绍。
本文在详细研究Blackfin系列DSP和AVS视频编解码标准特点的基础上,以ADSP-BF561评估开发板为核心完成编解码器硬件平台的设计。并在嵌入式ucLinux操作系统和Blackfin交叉编译环境下完成AVS视频解码算法在ADSP-BF561上的移植。
本文以解码器优化为主线,针对ADSP-BF561平台的软硬件特点,对移植后的AVS视频编解码算法进行了一系列的优化,包括编译器优化、DMA优化、算法流程优化、存储结构优化和汇编指令优化等。由于核心解码模块的优化是解码器速度提高的关键,因此本文针对AVS解码器的特点,对AVS视频解码器中的子像素插值、整数(反)变换、去块效应滤波等核心功能模块进行了重点地分析和优化。测试结果表明,本文所做优化工作大大提高了解码器效率,且解码图像主观质量良好,达到了本课题预期的要求。
The digital video multimedia technology receives increasing attention for its high quality and high error resilience. But it contains enormous data and couldn't be supported by current network bandwith. Compression must be done to meet the requirements of storage and transport. So video coding technology is a key in the digital video multimedia technology field. AVS is a video/audio encoding and decoding standard developed by China independently, and it is one of the most advanced video compression standards that are available. It has many good advantages, including good performance, low complexity algorithm, low patent licensing fees and so on. We have reason to forecast that AVS can find many application fields.
As one kind of special data processing chipes, DSP has been wildly used in video encoding/decoding technology field for its short exploitation period, flexibility and updatable features. Blackfin family DSP, which is developed by Analog Devices Inc. and Intel Corporation, is a fixed-point DSP product with high performance, and it is designed specifically to meet the upper computational demands and power constraint of audio, video and communications domain.
It is significant in both engineering application and market value to combine advanced technique of AVS and stable DSP together which achieves a better video compression performance. This project is put forward in this background.
The dissertation begins with the introduction of the basic theories and relative standards of video coding. And then it mainly researches AVS video coding standard, including main technology of AVS video standard, comparison between AVS video standard and other video coding standards, the IPR(Intellectual Property Rights) status and the development prospect of AVS video standard, etc. It also introduces the properties, structure and development environment of Blackfin family DSP.
Employing ADSP-BF561 EZ-KIT LITE evaluation board and AVS video standard, the dissertation designs the CODEC(Coder-Decoder) hardware platform. Relying on embedded ucLinux OS(operating system) and Blackfin cross compiling environment, AVS video CEDEC algorithm is transplanted to ADSP-BF561 platform.
According to the properties of ADSP-BF561, the dissertation optimizes the AVS video CODEC algorithm invoking compiler optimization, DMA optimization, algorithm flow optimization, storage structure optimization and assembly instructions optimization. The optimization is concentrated on decoder optimization. Because the optimization of core decoder module is a key to improve the speed of decoder. The dissertation mainly analyze and optimize the core modules of decoder, including sub-pixel interpolation, integer transform(inverse transform), deblocking loopfilter, etc. Test results show that the optimizing methods put forward in this dissertation significantly improve the efficiency of AVS decoder, and the subject quality of decoded image is good. It also meets the requirements of the design.
引文
[1]毕厚杰.新一代视频压缩编码标准--H.264/AVC[M].北京:人民邮电出版社,2005
[2]Iain E.G.Richardson.H.264 and MPEG-4 Video Compression:Video Coding for Next-generation Multimedia.2003 John Wiley & Sons,Ltd.ISBN:0-470-84837-5
[3]R.J.Clark.Transform Coding of Images.London:Academic Press,1985
[4]文强.视频编码去块效应及DSP中驱动程序的研究:[学位论文],华中科技大学,2004
[5]钟玉琢,王琪,贺玉文.基于对象的多媒体数据压缩编码国际标准--MPEG-4及其校验模型[M].北京:科学出版社,2000
[6]张帆.H.264视频编码标准的研究与优化实现:[学位论文],清华大学,2004
[7]国家数字音视频编解码技术标准工作组.GB/T 200090.2-2006.信息技术 先进音视频编码 第2部分:视频(报批稿)[R].2006
[8]信息产业部数字音视频编解码技术标准工作组,中国科学院计算技术研究所.AVS白皮书:致力于数字音视频技术、标准、知识产权和产业协调发展.草案3.6版,2005年03月
[9]国家广播电影电视总局广播电视规划院.AVS视频压缩质量主观评价(AVS参考软件5.2版)测试报告.2005年9月
[10]数字音视频编解码技术标准工作组知识产权调查组.《信息技术 先进音视频编码 第二部分:视频》专利分析报告.2004年12月
[11]国家数字音视频编解码技术标准工作组.视频编解码标准AVS技术介绍.电子产品世界.2005.10
[121刘元春.AVS视频标准研究.中国有线电视.2006年第16期
[13]ITU-T Rec.H.264/ISO/IEC 11496-10,"Advanced Video Coding",Final Committee Draft,Document JVTE022,September 2002
[14]数字音视频编解码技术标准工作组.数字音视频编解码技术标准工作组知识产权政策(2004年9月12日第十次工作会议通过实施)
[15]黄铁军,高文.AVS标准制定背景与知识产权状况.电视技术.2005年第7期.P4-7
[16]陈峰.Blackfin系列DSP原理与系统设计[M].北京:电子工业出版社,2004
[17]章勇.基于ADIDSP的MPEG-4视频编码的实现和优化:[学位论文],浙江大学,2005
[18]Analog Devices Inc.Blackfin processor instruction set reference.Rev 3.0,June 2004:417-421,487-492
[19]Analog Devices Inc.ADSP-BF533 Hardware Reference.Nov 2001
[20]Analog Devices Inc.Getting Started With Blackfin Processors.Revision 2.0,September 2005
[21]苏涛,蔺丽华,卢光跃,张林让.DSP实用技术.西安:西安电子科技大学出版社,2002
[22]Analog Devices Inc.ADSP-BF561 Blackfin Processor Hardware Reference.Revision 1.1,February 2007
[23]David Katz,Tomasz Lukasiakand Rick Gentile.Blackfin processor targets digital media open-source applicaions.Embedded Control Europe Magazine.March 2005
[24]严明,胡国荣.AVS视频标准中的分像素插值算法设计.中国传媒大学学报自然科学版.第13卷,第4卷.2006年12月
[25]裴雷.基于DSP的AVS实时解码器的研究与实现.[学位论文].青岛:中国海洋大学.2007年
[26]Zhang Ci-Xun,Lou Jian,Yu Lu,et al.The Technique of Pre-Scaled Integer Transform[C].Proc.of IEEE International Symposium on Circuits and Systems(ISCAS 2005),2005(1):316-319.
[27]W Chen,CH Smith and S Fralick.A fast computational algorithm for the discrete cosine transform.IEEE Trans Commun,1977,COM-25(9):1004-1009
[28]王荣刚等.一种分像素运动补偿插值滤波方法及高效VLSI实现.计算机学报,2005,第28卷第12期,2052-2058
[29]向一君.基于Blackfin的H.264子像素编解码的实现与优化.[学位论文],南京:南京邮电大学,2006年
[30]董斌,姜等明.AVS软件解码器的优化.计算机工程与设计,2006,第27卷第4期,618-620
[31]Analog Devices Inc.ADSP-BF561 EZ-KIT Lite Evaluation System Manual.Revision 3.1,January 2007.
[32]Liang Fan,Ma Siwei,Wu Feng.Overview of AVS Video Standard.Proc.2004IEEE Intl.Conf.Multimedia & Expo.,2004:423-426
[33]Blackfin Embedded Symmetric Multiprocessor:ADSP-BF561.Rev.0.January 2005
[34]国家数字音视频编解码技术标准工作组.信息技术 先进音视频编码 第1部分:系统(送审稿)[R].2006
[35]连元冠,石玥,夏军,尹涵春.AVS和H.264编解码性能的比较.数字电视与数字视频.文章编号:1002-8692(2007)03-0018-04
[36]高文等.AVS数字音视频编解码标准.中兴通讯技术,2006年6月.第12卷第3 期
[37]田晓华.AVS视频编码中整数变换与熵编码研究:[学位论文],华中科技大学,2004
[38]lain E.G.Richardson.Video Codec Design:Developing Image and Video Compression Systems.ISBN:978-0-471-48553-7.John Wiley & Sons.May 13,2002
[39]田元,叶秀清,顾伟康.实时图像处理系统中的DSP优化编程,电子技术,2002年第10期
[40]千宗良,李晓蕾.H.264的变换编码和量化过程分析.电视技术,2003(12):7-9
[41]金尧,宋宜纯.低码率视频压缩技术的块效应消除方法.通信学报,2000,4.Vol.21:42-47
[2]Iain E.G.Richardson.H.264 and MPEG-4 Video Compression:Video Coding for Next-generation Multimedia.2003 John Wiley & Sons,Ltd.ISBN:0-470-84837-5
[3]R.J.Clark.Transform Coding of Images.London:Academic Press,1985
[4]文强.视频编码去块效应及DSP中驱动程序的研究:[学位论文],华中科技大学,2004
[5]钟玉琢,王琪,贺玉文.基于对象的多媒体数据压缩编码国际标准--MPEG-4及其校验模型[M].北京:科学出版社,2000
[6]张帆.H.264视频编码标准的研究与优化实现:[学位论文],清华大学,2004
[7]国家数字音视频编解码技术标准工作组.GB/T 200090.2-2006.信息技术 先进音视频编码 第2部分:视频(报批稿)[R].2006
[8]信息产业部数字音视频编解码技术标准工作组,中国科学院计算技术研究所.AVS白皮书:致力于数字音视频技术、标准、知识产权和产业协调发展.草案3.6版,2005年03月
[9]国家广播电影电视总局广播电视规划院.AVS视频压缩质量主观评价(AVS参考软件5.2版)测试报告.2005年9月
[10]数字音视频编解码技术标准工作组知识产权调查组.《信息技术 先进音视频编码 第二部分:视频》专利分析报告.2004年12月
[11]国家数字音视频编解码技术标准工作组.视频编解码标准AVS技术介绍.电子产品世界.2005.10
[121刘元春.AVS视频标准研究.中国有线电视.2006年第16期
[13]ITU-T Rec.H.264/ISO/IEC 11496-10,"Advanced Video Coding",Final Committee Draft,Document JVTE022,September 2002
[14]数字音视频编解码技术标准工作组.数字音视频编解码技术标准工作组知识产权政策(2004年9月12日第十次工作会议通过实施)
[15]黄铁军,高文.AVS标准制定背景与知识产权状况.电视技术.2005年第7期.P4-7
[16]陈峰.Blackfin系列DSP原理与系统设计[M].北京:电子工业出版社,2004
[17]章勇.基于ADIDSP的MPEG-4视频编码的实现和优化:[学位论文],浙江大学,2005
[18]Analog Devices Inc.Blackfin processor instruction set reference.Rev 3.0,June 2004:417-421,487-492
[19]Analog Devices Inc.ADSP-BF533 Hardware Reference.Nov 2001
[20]Analog Devices Inc.Getting Started With Blackfin Processors.Revision 2.0,September 2005
[21]苏涛,蔺丽华,卢光跃,张林让.DSP实用技术.西安:西安电子科技大学出版社,2002
[22]Analog Devices Inc.ADSP-BF561 Blackfin Processor Hardware Reference.Revision 1.1,February 2007
[23]David Katz,Tomasz Lukasiakand Rick Gentile.Blackfin processor targets digital media open-source applicaions.Embedded Control Europe Magazine.March 2005
[24]严明,胡国荣.AVS视频标准中的分像素插值算法设计.中国传媒大学学报自然科学版.第13卷,第4卷.2006年12月
[25]裴雷.基于DSP的AVS实时解码器的研究与实现.[学位论文].青岛:中国海洋大学.2007年
[26]Zhang Ci-Xun,Lou Jian,Yu Lu,et al.The Technique of Pre-Scaled Integer Transform[C].Proc.of IEEE International Symposium on Circuits and Systems(ISCAS 2005),2005(1):316-319.
[27]W Chen,CH Smith and S Fralick.A fast computational algorithm for the discrete cosine transform.IEEE Trans Commun,1977,COM-25(9):1004-1009
[28]王荣刚等.一种分像素运动补偿插值滤波方法及高效VLSI实现.计算机学报,2005,第28卷第12期,2052-2058
[29]向一君.基于Blackfin的H.264子像素编解码的实现与优化.[学位论文],南京:南京邮电大学,2006年
[30]董斌,姜等明.AVS软件解码器的优化.计算机工程与设计,2006,第27卷第4期,618-620
[31]Analog Devices Inc.ADSP-BF561 EZ-KIT Lite Evaluation System Manual.Revision 3.1,January 2007.
[32]Liang Fan,Ma Siwei,Wu Feng.Overview of AVS Video Standard.Proc.2004IEEE Intl.Conf.Multimedia & Expo.,2004:423-426
[33]Blackfin Embedded Symmetric Multiprocessor:ADSP-BF561.Rev.0.January 2005
[34]国家数字音视频编解码技术标准工作组.信息技术 先进音视频编码 第1部分:系统(送审稿)[R].2006
[35]连元冠,石玥,夏军,尹涵春.AVS和H.264编解码性能的比较.数字电视与数字视频.文章编号:1002-8692(2007)03-0018-04
[36]高文等.AVS数字音视频编解码标准.中兴通讯技术,2006年6月.第12卷第3 期
[37]田晓华.AVS视频编码中整数变换与熵编码研究:[学位论文],华中科技大学,2004
[38]lain E.G.Richardson.Video Codec Design:Developing Image and Video Compression Systems.ISBN:978-0-471-48553-7.John Wiley & Sons.May 13,2002
[39]田元,叶秀清,顾伟康.实时图像处理系统中的DSP优化编程,电子技术,2002年第10期
[40]千宗良,李晓蕾.H.264的变换编码和量化过程分析.电视技术,2003(12):7-9
[41]金尧,宋宜纯.低码率视频压缩技术的块效应消除方法.通信学报,2000,4.Vol.21:42-47