基于H.264的运动估计优化算法在DSP上的实现
摘要
H.264视频压缩编码是由ITU-T视频编码专家组和ISO/ICE活动图像专家组组成的联合视频组共同开发的高性能编码,但是编码算法复杂度较高。运动估计是视频编码中的影响复杂度的主要环节。
本文首先通过研究运动估计搜索算法的原理,提出了基于运动图像剧烈程度的快速运动估计优化算法。该算法结合图像块的运动相关性,对块的运动区域分为背景区、准背景区和运动区,采用不同的运动估计搜索算法进行视频编码,构造了相应的编码器。其次在TMS320DM6437DSP开发平台上以H.264标准的X264版本开源代码为参考模型,经过对代码进行内联函数优化、C语言级优化、编译器优化、线性汇编优化等优化步骤,实现了运动估计优化算法的功能。最后,运用标准化的测试视频对所提算法进行了数值环境下的模拟和DSP平台上的编码实验,得出了有效的结果。
实验结果表明基于H.264的视频编码运动估计优化算法不仅在图像的编码质量方面对各种运动复杂度的视频序列都有较好的适应性,而且较大幅度地提高了编码速度,在DSP平台上可满足视频编码器实时性的需求。
The H.264video compression standard is developed by the Joint Video Team of ITU-U Video Coding Experts Group and ISO/ICE Moving Picture Experts Group. The high efficient H.264encoding high efficiency is built on high complexity encoding algorithm. Motion estimation is vital to video compression.
In this paper, through the study of motion estimation algorithm, an optimized algorithm based on the different motion complexity of images is proposed. Combined with motion correlation, the images are divided into background area, quasi-background area and sports area. Then motion vector should be searched by the different motion estimation search algorithms in different area. The X264open source code is chosen as a reference model in this paper. Then we realize the video encoder by transplant the X264code to the Integrated Development Environment CCS of TMS320DM6437platform. Some methods such as the inline function optimization, the C language optimization, compiler optimization, linear assembly optimization are applied to the program. Finally, effective results are got through simulation in numerical environment and coding experiment on DSP platform.
Experiments results show that, in the PSNR aspects, the optimization algorithm has good adaptability to a variety of motion complexity of image. The great improvements in coding speed can be got from the optimized algorithm. The encoder built on the DSP meets the requirement of the real-time video encoding.
本文首先通过研究运动估计搜索算法的原理,提出了基于运动图像剧烈程度的快速运动估计优化算法。该算法结合图像块的运动相关性,对块的运动区域分为背景区、准背景区和运动区,采用不同的运动估计搜索算法进行视频编码,构造了相应的编码器。其次在TMS320DM6437DSP开发平台上以H.264标准的X264版本开源代码为参考模型,经过对代码进行内联函数优化、C语言级优化、编译器优化、线性汇编优化等优化步骤,实现了运动估计优化算法的功能。最后,运用标准化的测试视频对所提算法进行了数值环境下的模拟和DSP平台上的编码实验,得出了有效的结果。
实验结果表明基于H.264的视频编码运动估计优化算法不仅在图像的编码质量方面对各种运动复杂度的视频序列都有较好的适应性,而且较大幅度地提高了编码速度,在DSP平台上可满足视频编码器实时性的需求。
The H.264video compression standard is developed by the Joint Video Team of ITU-U Video Coding Experts Group and ISO/ICE Moving Picture Experts Group. The high efficient H.264encoding high efficiency is built on high complexity encoding algorithm. Motion estimation is vital to video compression.
In this paper, through the study of motion estimation algorithm, an optimized algorithm based on the different motion complexity of images is proposed. Combined with motion correlation, the images are divided into background area, quasi-background area and sports area. Then motion vector should be searched by the different motion estimation search algorithms in different area. The X264open source code is chosen as a reference model in this paper. Then we realize the video encoder by transplant the X264code to the Integrated Development Environment CCS of TMS320DM6437platform. Some methods such as the inline function optimization, the C language optimization, compiler optimization, linear assembly optimization are applied to the program. Finally, effective results are got through simulation in numerical environment and coding experiment on DSP platform.
Experiments results show that, in the PSNR aspects, the optimization algorithm has good adaptability to a variety of motion complexity of image. The great improvements in coding speed can be got from the optimized algorithm. The encoder built on the DSP meets the requirement of the real-time video encoding.
引文
[1]毕厚杰.多媒体技术基础[M].北京：清华大学出版社,2002.
[2]陈琦.视频编码标准在VoIP系统中的应用：[D].陕西：西安电子科技大学.2007.
[3]李亮.H.264/AVC视频编码中的模式选择算法研究[D].南京：东南大学,2008.
[4]Joint video Team (JVT) of ISO/IEC MPEG&ITU-T VCEG.H.264/MPEG-4 Part 10 White Paper. www.vcodex.com,2008-10-14.
[5]田应洪.基于H.264基线规范的算法研究与实现[D].上海：复旦大学,2007.
[6]吕宇良.H.264视频编码算法研究与优化[D]：长沙：湖南大学,2005.
[7]Lain E.G.Rchardson著.欧阳合,韩军译.视频编码器设计-开发图像与视频压缩系统[M].长沙：国防科技大学出版社,2006.
[8]张晖.基于ARM ESL平台的H.264编码器硬件加速设计和研究[D].上海：上海交通大学,2007.
[9]丁宗豪.多媒体应用的图像压缩及其标准MPEG-1.电视技术[J].1994年第8期.
[10]Texas Instruments. TMS320DM6437 Digital Media Processor [A].19 Nov 2007.
[11]Texas Instruments. TMS320C6000 Optimizing Compiler Users Guide[A].July 2005.
[12]Texas Instruments. TMS320C6000 Programmer's Guide [A]. August 2002.
[13]Texas Instruments. TMS320C64x DSP CPU and Instruction Set Reference Guide[A], August 2006.
[14]Texas Instruments. TMS320C64xp DSP Cache Users Guide[A],October 2006.
[15]ITU-T Rec.H.264/ISO/IEC 11496-10. Advanced Video Coding, Final Committee Draft, Document JVTE022. September 2002.
[16](美)凯斯宾革.代码优化-有效使用内存[M].电子工业出版社,2004.10.
[17]陈新兴.基于FGPA的H.264视频编码器设计[D].厦门：华侨大学.2007.
[18]童伟.基于上下文的抗误码可变长编码的研究[D].上海：上海交通大学.2006.
[19]Michael W.Marcellin, MichaelJ.Gormish, AliBilgin, MartinP.Boliek. An Overview of JPEG-2000[R]. Proc.of IEEE Data CompressionConference,523-541,2000.
[20]李方慧王飞何佩琨,TMS320C6000系列DSPs原理与应用(第二版)[M],电子工业出版社,2003.01.
[21]H.264/MPEG-4 Part 10 White Paper,Iain E G Richardson, July 2002.
[22]张雄伟.DSP芯片的原理与开发应用[M].北京：电子工业出版社,2003.
[23]张思敏,刘畅.TM320C6000 DSP应用开发教程.北京：机械工业出版社,2005.2.
[24]周宁兆.视频编码标准H.264及其快速实现算法研究[D].西安：西安电子科技大学,2005.
[25]张旭光等.几种块匹配运动估计算法的比较[C].今日科苑.2007.18
[26]德州仪器全新达芬奇技术开发平台加速数字视频产品开发,http://www.ent.eetchina.com/.
[27]张纪玲等.一种基于H264编码标准的快速运动估计算法[C].电子测量技术.2009.9.
[28]陈桂兰.基于H.264的运动估计算法优化研究[C].濮阳职业技术学院学报.2010.2.
[29]高博.基于H.264视频压缩的DSP实现[D].西安：西北工业大学,2007.
[30]Peter Lee如何在vc6环境下编译x264 [R]. http://x264decoder.zj.com.2005.6.
[31]韩非,胡春涛,李伟等.TMS320C6000系列DSP开发应用技巧[M].北京：中国电力出版社,2008.
[32]Texas Instruments Incorporated, TMS320DM6437 Evalution Module, TI Technical Reference,2007.3.
[33]彭启琮,管庆.DSP集成开发环境——CCS及DSP/BIOS的原理与应用[M].北京：电子工业出版社.2004.
[34]John Stevenson. Code Composer Studio IDE v3 White Paper[M]. Texas Instruments Incorporated,2005.3.
[35]TexasInstrumentsIncoporated著.TMS320C6000系列DSP编程工具与指南.田黎育,何佩馄,朱梦宇等编译.北京：清华大学出版社.2006,9.
[36]TexasInstrumentsIncoporated著TI DSP集成化开发环境(CCS)使用手册.彭启琮,张诗雅,常冉等编译.北京：清华大学出版社.2005,12.
[37]TexasInstrumentsIncoporated著TI DSP/BIOS用户手册与驱动开发.王军宁,何迪,胡启龙等编译.北京：清华大学出版社.2007,4.
[38]TexasInstrumentsIncoporated著TMS320C64x+DSP Cache User's Guide. SPRU862A, 2006.10.
[39]TexasInstrumentsIncoporated著TMS320C64x DSP Two-Level Internal Memory Reference Guide.SPRU610C,2006,2.
[40]TexasInstrumentsIncoporated著TMS320C6000 Optimizing C Compiler Tutorial. SPRU425A,2002.8.
[41]裴世保,李厚强,俞能海.一种快速的H.264/AVC帧内预测模式选择算法[J].计算机工程与应用.2005,41(10).
[42]郑君.H.264视频编码器在DM6437平台上的实现与优化[D].武汉：华中师范大学.2008.
[43]梅侠.H.264核心算法的优化及基于DSP平台的移植[D].南京：河海大学.2007,4.
[44]杨黎波.H.264视频编码快速算法研究[D].杭州：浙江大学,2005,34-37.
[45]王颖,陈乃海.H.264视频编码器基本档次实现方案的研究.电视工程,2006.3：7-20.
[46]赵训威.TMS320C6000系列DSP芯片的应用与开发[M].北京：人民邮电出版社,2002.5.
[47]于超.H.264/AVC标准中的熵编码技术http://www.chinavideo.org,2006,6.
[48]魏哲,蔡灿辉.基于高速DSP的H.264视频编码器实现和优化[J].信号处理,2007.23(5).
[49]张彤宇,苏瑞,刘宝兰.DSP基础开发与应用实例[M].北京：电子工业出版社,2002.
[50]钱瑛.H.264视频编码技术研究及其在TI-DSP DM642上的实现[D].南京：南京理工大学.2006.
[51]王念旭.DSP基础与应用系统设计[M].北京：北京航天航空大学出版社,2001.
[52]何苏勤,延瑾瑜.基于TMS320DM642的H.264六抽头滤波插值的优化[J].数字视频,2009.33.10
[53]姚利华.H.264编码器帧间模式选择算法的研究与优化[D].山东：中国海洋大学硕士论文.2009.5.
[54]李杰.H.264算法在TI C64X上的移植及优化[C].计算机工程与应用.2005.33.
[2]陈琦.视频编码标准在VoIP系统中的应用：[D].陕西：西安电子科技大学.2007.
[3]李亮.H.264/AVC视频编码中的模式选择算法研究[D].南京：东南大学,2008.
[4]Joint video Team (JVT) of ISO/IEC MPEG&ITU-T VCEG.H.264/MPEG-4 Part 10 White Paper. www.vcodex.com,2008-10-14.
[5]田应洪.基于H.264基线规范的算法研究与实现[D].上海：复旦大学,2007.
[6]吕宇良.H.264视频编码算法研究与优化[D]：长沙：湖南大学,2005.
[7]Lain E.G.Rchardson著.欧阳合,韩军译.视频编码器设计-开发图像与视频压缩系统[M].长沙：国防科技大学出版社,2006.
[8]张晖.基于ARM ESL平台的H.264编码器硬件加速设计和研究[D].上海：上海交通大学,2007.
[9]丁宗豪.多媒体应用的图像压缩及其标准MPEG-1.电视技术[J].1994年第8期.
[10]Texas Instruments. TMS320DM6437 Digital Media Processor [A].19 Nov 2007.
[11]Texas Instruments. TMS320C6000 Optimizing Compiler Users Guide[A].July 2005.
[12]Texas Instruments. TMS320C6000 Programmer's Guide [A]. August 2002.
[13]Texas Instruments. TMS320C64x DSP CPU and Instruction Set Reference Guide[A], August 2006.
[14]Texas Instruments. TMS320C64xp DSP Cache Users Guide[A],October 2006.
[15]ITU-T Rec.H.264/ISO/IEC 11496-10. Advanced Video Coding, Final Committee Draft, Document JVTE022. September 2002.
[16](美)凯斯宾革.代码优化-有效使用内存[M].电子工业出版社,2004.10.
[17]陈新兴.基于FGPA的H.264视频编码器设计[D].厦门：华侨大学.2007.
[18]童伟.基于上下文的抗误码可变长编码的研究[D].上海：上海交通大学.2006.
[19]Michael W.Marcellin, MichaelJ.Gormish, AliBilgin, MartinP.Boliek. An Overview of JPEG-2000[R]. Proc.of IEEE Data CompressionConference,523-541,2000.
[20]李方慧王飞何佩琨,TMS320C6000系列DSPs原理与应用(第二版)[M],电子工业出版社,2003.01.
[21]H.264/MPEG-4 Part 10 White Paper,Iain E G Richardson, July 2002.
[22]张雄伟.DSP芯片的原理与开发应用[M].北京：电子工业出版社,2003.
[23]张思敏,刘畅.TM320C6000 DSP应用开发教程.北京：机械工业出版社,2005.2.
[24]周宁兆.视频编码标准H.264及其快速实现算法研究[D].西安：西安电子科技大学,2005.
[25]张旭光等.几种块匹配运动估计算法的比较[C].今日科苑.2007.18
[26]德州仪器全新达芬奇技术开发平台加速数字视频产品开发,http://www.ent.eetchina.com/.
[27]张纪玲等.一种基于H264编码标准的快速运动估计算法[C].电子测量技术.2009.9.
[28]陈桂兰.基于H.264的运动估计算法优化研究[C].濮阳职业技术学院学报.2010.2.
[29]高博.基于H.264视频压缩的DSP实现[D].西安：西北工业大学,2007.
[30]Peter Lee如何在vc6环境下编译x264 [R]. http://x264decoder.zj.com.2005.6.
[31]韩非,胡春涛,李伟等.TMS320C6000系列DSP开发应用技巧[M].北京：中国电力出版社,2008.
[32]Texas Instruments Incorporated, TMS320DM6437 Evalution Module, TI Technical Reference,2007.3.
[33]彭启琮,管庆.DSP集成开发环境——CCS及DSP/BIOS的原理与应用[M].北京：电子工业出版社.2004.
[34]John Stevenson. Code Composer Studio IDE v3 White Paper[M]. Texas Instruments Incorporated,2005.3.
[35]TexasInstrumentsIncoporated著.TMS320C6000系列DSP编程工具与指南.田黎育,何佩馄,朱梦宇等编译.北京：清华大学出版社.2006,9.
[36]TexasInstrumentsIncoporated著TI DSP集成化开发环境(CCS)使用手册.彭启琮,张诗雅,常冉等编译.北京：清华大学出版社.2005,12.
[37]TexasInstrumentsIncoporated著TI DSP/BIOS用户手册与驱动开发.王军宁,何迪,胡启龙等编译.北京：清华大学出版社.2007,4.
[38]TexasInstrumentsIncoporated著TMS320C64x+DSP Cache User's Guide. SPRU862A, 2006.10.
[39]TexasInstrumentsIncoporated著TMS320C64x DSP Two-Level Internal Memory Reference Guide.SPRU610C,2006,2.
[40]TexasInstrumentsIncoporated著TMS320C6000 Optimizing C Compiler Tutorial. SPRU425A,2002.8.
[41]裴世保,李厚强,俞能海.一种快速的H.264/AVC帧内预测模式选择算法[J].计算机工程与应用.2005,41(10).
[42]郑君.H.264视频编码器在DM6437平台上的实现与优化[D].武汉：华中师范大学.2008.
[43]梅侠.H.264核心算法的优化及基于DSP平台的移植[D].南京：河海大学.2007,4.
[44]杨黎波.H.264视频编码快速算法研究[D].杭州：浙江大学,2005,34-37.
[45]王颖,陈乃海.H.264视频编码器基本档次实现方案的研究.电视工程,2006.3：7-20.
[46]赵训威.TMS320C6000系列DSP芯片的应用与开发[M].北京：人民邮电出版社,2002.5.
[47]于超.H.264/AVC标准中的熵编码技术http://www.chinavideo.org,2006,6.
[48]魏哲,蔡灿辉.基于高速DSP的H.264视频编码器实现和优化[J].信号处理,2007.23(5).
[49]张彤宇,苏瑞,刘宝兰.DSP基础开发与应用实例[M].北京：电子工业出版社,2002.
[50]钱瑛.H.264视频编码技术研究及其在TI-DSP DM642上的实现[D].南京：南京理工大学.2006.
[51]王念旭.DSP基础与应用系统设计[M].北京：北京航天航空大学出版社,2001.
[52]何苏勤,延瑾瑜.基于TMS320DM642的H.264六抽头滤波插值的优化[J].数字视频,2009.33.10
[53]姚利华.H.264编码器帧间模式选择算法的研究与优化[D].山东：中国海洋大学硕士论文.2009.5.
[54]李杰.H.264算法在TI C64X上的移植及优化[C].计算机工程与应用.2005.33.