像素级图像融合技术研究
|
摘要
图像融合是一种信息综合处理技术，其主要目的是通过对多幅图像间冗余数据的处理提高图像的可靠性，通过对多幅图像间互补信息的处理提高图像的清晰度。近年来，图像融合已成为图像理解和计算机视觉领域中一项重要而有用的新技术。本文主要探讨像素级图像融合技术。
文中首先介绍了图像融合技术研究的背景，描述了图像融合的基本概念、层次、应用及国内外研究动态，阐述了像素级图像融合技术的基本原理和方法，并提出了一种对融合方法性能及融合图像效果进行主、客观评价相结合的评测方法，通过后文的大量实验证明该方法是合理有效的。
在基于空域的图像融合方法一章中，首先介绍了简单融合方法，在加权平均融合方法的基础上，提出利用PCA变换确定加权平均系数，并通过实验证明利用该方法可得到融合效果更佳的图像。随后还介绍了总体性能优于简单融合方法的基于区域特征的融合方法。
论文第四章重点介绍基于小波变换的图像融合方法。在介绍了小波变换的基本理论、多分辨率分析的思想、图像的小波变换及其Mallat快速算法之后，讨论了基于像素和基于区域的融合规则及实现方式，并提出新的融合规则。通过一系列图像融合实验，利用文中所提出的评测方法研究了不同小波基、不同小波分解层数、不同融合规则、不同特性区域大小、不同阈值对融合性能的影响，从而得到相关结论。
本文最后提出一种基于图像分割块的新融合方法。通过实验证明该方法能够准确保持有用信息，实现信息互补，具有计算较简单、处理时间较短，融合效果较好的优点。图像融合技术可应用于多个领域，本文还对它在医学领域的应用做了探讨，也进一步验证了文中的各融合方法。
Image fusion is an integrated information processing technology, which mainly aims to improve the reliability of images by processing the redundant information and the definition of images by processing complementary information among several images. In recent years, image fusion has became into a new important and useful technology in the field of image analysis and computer vision. This paper is mainly to discuss pixel-level image fusion technology.
After introducing the background of research, basic concepts, development, internal and external application and researches of image fusion technology, the paper elaborates the fundamental principles and methods employed in pixel-level image fusion technology and puts forth a combination of the subjective and objective evaluation criteria for image fusion performance and the effect of the fused images, which is proved to be reasonable and effective by a great number of experiments mentioned later in the paper.
In the discussion of image fusion methods based on spatial domain, the paper introduces the simple image fusion method and then suggests, on the basis of fusion with weighted average, to figure out the weighted average coefficient by using PCA transform, which helps to form images of better fusion effect. And then describes the domainal properties-based method of which the overall performance is superior to that of simple fusion methods.
The fourth chapter of the paper focuses on the wavelet-transform-based image fusion method of which the basic theories, multi-resolution analysis and Mallat fast arithmetic are discussed. Then the level-based and region-based fusion rules and implement of these are discussed and a novel fusion rule is raised. Through a series of experiments, what can be done to fusion performance by wavelet radix, the number of decomposition levels, different fusion of rules, the size of region for measure or threshold is studied according to valuation methods proposed in the paper.
At the end of the paper, the paper brings forward a new fusion method on the basis of image segments. Experiments show that it can sustain useful information, realize the complementation of information and therefore have such advantages as simple arithmetic, fast runtime and better effect. Image fusion technology can be applied in many fields, and its application in medicine is also explored, which further support the methods advanced in the paper.
文中首先介绍了图像融合技术研究的背景，描述了图像融合的基本概念、层次、应用及国内外研究动态，阐述了像素级图像融合技术的基本原理和方法，并提出了一种对融合方法性能及融合图像效果进行主、客观评价相结合的评测方法，通过后文的大量实验证明该方法是合理有效的。
在基于空域的图像融合方法一章中，首先介绍了简单融合方法，在加权平均融合方法的基础上，提出利用PCA变换确定加权平均系数，并通过实验证明利用该方法可得到融合效果更佳的图像。随后还介绍了总体性能优于简单融合方法的基于区域特征的融合方法。
论文第四章重点介绍基于小波变换的图像融合方法。在介绍了小波变换的基本理论、多分辨率分析的思想、图像的小波变换及其Mallat快速算法之后，讨论了基于像素和基于区域的融合规则及实现方式，并提出新的融合规则。通过一系列图像融合实验，利用文中所提出的评测方法研究了不同小波基、不同小波分解层数、不同融合规则、不同特性区域大小、不同阈值对融合性能的影响，从而得到相关结论。
本文最后提出一种基于图像分割块的新融合方法。通过实验证明该方法能够准确保持有用信息，实现信息互补，具有计算较简单、处理时间较短，融合效果较好的优点。图像融合技术可应用于多个领域，本文还对它在医学领域的应用做了探讨，也进一步验证了文中的各融合方法。
Image fusion is an integrated information processing technology, which mainly aims to improve the reliability of images by processing the redundant information and the definition of images by processing complementary information among several images. In recent years, image fusion has became into a new important and useful technology in the field of image analysis and computer vision. This paper is mainly to discuss pixel-level image fusion technology.
After introducing the background of research, basic concepts, development, internal and external application and researches of image fusion technology, the paper elaborates the fundamental principles and methods employed in pixel-level image fusion technology and puts forth a combination of the subjective and objective evaluation criteria for image fusion performance and the effect of the fused images, which is proved to be reasonable and effective by a great number of experiments mentioned later in the paper.
In the discussion of image fusion methods based on spatial domain, the paper introduces the simple image fusion method and then suggests, on the basis of fusion with weighted average, to figure out the weighted average coefficient by using PCA transform, which helps to form images of better fusion effect. And then describes the domainal properties-based method of which the overall performance is superior to that of simple fusion methods.
The fourth chapter of the paper focuses on the wavelet-transform-based image fusion method of which the basic theories, multi-resolution analysis and Mallat fast arithmetic are discussed. Then the level-based and region-based fusion rules and implement of these are discussed and a novel fusion rule is raised. Through a series of experiments, what can be done to fusion performance by wavelet radix, the number of decomposition levels, different fusion of rules, the size of region for measure or threshold is studied according to valuation methods proposed in the paper.
At the end of the paper, the paper brings forward a new fusion method on the basis of image segments. Experiments show that it can sustain useful information, realize the complementation of information and therefore have such advantages as simple arithmetic, fast runtime and better effect. Image fusion technology can be applied in many fields, and its application in medicine is also explored, which further support the methods advanced in the paper.
引文
[1] 刘同明等，《数据融合技术及其应用》，国防工业出版社，1998
[2] 康耀红，《数据融合理论与应用》，西安电子科技大学出版社，1997
[3] 李圣怡，《多传感器融合理论及在智能制造系统中的应用》，国防科技大学出版社，1998
[4] 何友等，《多传感器信息融合及应用》，电子工业出版社，2001
[5] Daily M.I., Farr T. and Elachi C.Geologic, Interpretation from Composited Radar and Landsat Imagery, Photogrammetric Engineering and Remote Sensing, 1979, 45(8): 1109-1116
[6] Laner D.T., and Todd W.J., Land Cover Mapping with Merged Landsat RBV and MSS Stereoscopic Images, Prec. Of of ASP Fall Technical Conference, San Franciso, 1981, 680-689
[7] K．R．Castleman著，朱志刚等译，《数字图像处理》，电子工业出版社，2001
[8] 王建海等，多传感器数据融合浅析，上海大学学报(自然科学版)，Vol．3 No．4，1997，p454-461
[9] 刘贵喜，多传感器图像融合方法研究[博士论文]，西安电子科技大学，2001．1
[10] 阳方林等，像素级图像融合效果的评价方法研究，测试技术学报，Vol．16，No．4 2002，p276-279
[11] 夏明革、何友等，多传感器图像融合效果评价方法研究，电光与控制，Vol．10 No．2 2003．5，p31-35
[12] 赵荣椿等，《数字图像处理导论》，西北工业大学出版社，1996．7
[13] 胡广书著，<数字信号处理——理论、算法与实现》，清华大学出版社，1997．8
[14] 王宏等，多分辨率图像融合的研究与发展，控制理论与应用，Vol．21 No．1 2004．2，p145-151
[15] 秦前清、杨宗凯著，《实用小波分析》，西安电子科技大学出版社，1994．1
[16] 崔锦泰[美]著，程正兴译，《小波分析导论》，西安交通大学出版社，1995．1
[17] 陈武凡著，《小波分析及其在图像处理中的应用》，科学出版社，2002．4
[18] 彭玉华著，《小波变换与工程应用》，科学出版社，1999．9
[19] Mallat著，杨力华等译，《信号处理的小波导引》，机械工业出版社，2002．9
[20] 陆宏波等，基于小波变换的图像融合方法，微电子与基础产品，Vol．27，No．5，p54-57，2001
[21] H.Li, B.S. Manjunath, and S.K. Mitra, Multisensor Image Fusion Using the Wavelet Transform, Graphical Models and Image Processing, Vol.57, No.3, May, p235-245, 1995
[22] Guan Xiaoping and Guan Zequn, Detection of High Resolution Remote Sensing Imagery Using Wavelet, the 22~(nd) Asian Conference on Remote Sensing, 5-9 November 2001
[23] Tao Guanqun etc., On Image Fusion Based on Different Fusion Rules of Wavelet Transform,光子学报，Vol.33, No.2, 2004, p221-224
[24] P.K.Varshney, Multi-sensor Data Fusion, Electronics& Communication Engineering Journal, No.12, 1997, p454-253
[25] Gemma Piella, A general Framework for Multiresolution Image Fusion: from Pixels to Regions, report
PNA-R0211 May 31, 2002
[26] Jun Li, A Wavelet Approach to Edge Detection: [master thesis], Sam Houston State University. Huntsville, Texas, August 2003
[27] Qu Jishuang and Wang Chao, A Wavelet Package-Based Data Fusion Method for Multitemporal Remote Sensing Image Processing, the 22~(nd) Asian Conference on Remote Sensing, 5-9 November 2001
[28] Shutao Li etc., Combination of Images with Diverse Focuses using The Spatial Frequency, Elsevier Science Ltd, Information Fusion 2(2001) p169-176
[29] Yong Du etc., Satellite Image Fusion with Multi-scale Wavelet Analysis for Marine Applications, Can.J. Remote Seusing, Vol.29, No.1, p14-23, 2003
[30] Jorge nunez etc., Simultaneous Image Fusion and Recomtruction using Wavelets Applications to SPOT+LANDSAT images, Elsevier Science Ltd, Vistas in Astronomy Vol.41, No.3, p351-357, 1997
[31] Shutao Li etc., Using the Discrete Wavelet Frame Transform to Merge Landsat TM and SPOT Anchromatic Images, Elsevier Science Ltd, Information Fusion 3(2002) p17-23
[32] Stavri Nikolov etc., Wavelets for Image Fusion, Image Communications Group, Center for Communications Research, University of Bristol
[33] G.Simone etc., Image Fusion Techniques for remote sensing applications, Elsevier Science Ltd, Information Fusion 3(2002) p3-15
[34] 吴秀清等，采用小波变换的图像数据融合方法及实现，小型微型计算机系统，Vol．21，No．8，2000，p833-835
[35] 蒋晓瑜等，小波变换在多光谱图像融合中的应用，电子学报，Vol．25，No．8，1997，p105-108
[36] 崔岩梅等，一种基于小波变换的多尺度多算子图像融合方法，光学技术，No．4，1999，p37-39
[37] 孙辉，基于小波变换的图像融合方法，光学精密工程，Vol．8，No．6，2000，p551-553
[38] 汤志伟等，使用小波分析的图像融合算法，电子科技大学学报，Vol．29，No．2，2000，p122-125
[39] 李勤，适合于生物图像的图像融合算法研究，光学学报，Vol．20，No．4，p454-500
[40] 刘贵喜等，基于梯度塔形分解的多传感器图像融合，光电子激光，Vol．12，No．3，2001，p293-296
[41] 陈勇等，基于小波变换的红外图像融合技术研究，红外与激光工程，Vol．30，No．1，2001，p15-17
[42] 汤志伟等，图像融合的一种新算法，电子与信息学报，Vol．23，No．1，2001，p88-91
[43] 那彦等，图像信息融合与医学图像综合显示，西安电子科技大学学报，Vol．31，No．1，2004，p21-24
[44] 王建卫，基于小波变换的数字图像融合，情报指挥控制系统与仿真技术，No．6，2000，p51-56
[45] 夏明革等，多传感器图像融合综述，电光与控制，Vol．9，No．4，2002，p1-7
[46] 江东等，多源图像信息融合的理论与技术，甘肃科学学报，Vol．14，No．1，2002，p41-45
[47] 刘志镜等，基于空域中的图像融合算法研究，计算机工程与涉及，Vol．23，No．9，2002，p72-76
[48] 赵瑞珍等，基于小波变换的图像多尺度数据融合，计算机辅助设计与图像学学报，Vol．14，No．4，2002，p361-364
[49] 陶洪久等，基于小波的全局多源遥感图像信息融合方法，红外与激光工程，Vol．31，No．4，2002，p346-350
[50] 柴艳妹等，一种基于小波分析的自适应图像融合方法，中国体视学与图像分析，Vol．7，No．4，2002，p240-243
[51] 霍洪涛等，《数字图像处理》，北京理工大学出版社，2002．9
[52] 张孝飞，医学图像信息融合的研究[硕士论文]，广西师范大学，2001．11
[53] 肖李，多波段图像融合技术研究[硕士论文]，武汉理工大学，2003．3
[54] 郭志强，基于图像融合处理的钢炉测厚系统的研究[硕士论文]，武汉理工大学，2003．5
[55] 周金萍，《MATLAB 6.5图形图像处理与应用实例》，科学出版社，2003．8
[56] 伯晓晨等，《Matlab工具箱应用指南——信息工程篇》，电子工业出版社，2000
[57] 王晓丹等，《基于Matlab的系统分析与设计：图像处理》，西安电子科技大学出版社，2000
[58] 胡昌华等，《基于Matlab的系统分析与设计：小波分析》，西安电子科技大学出版社，1999
[2] 康耀红，《数据融合理论与应用》，西安电子科技大学出版社，1997
[3] 李圣怡，《多传感器融合理论及在智能制造系统中的应用》，国防科技大学出版社，1998
[4] 何友等，《多传感器信息融合及应用》，电子工业出版社，2001
[5] Daily M.I., Farr T. and Elachi C.Geologic, Interpretation from Composited Radar and Landsat Imagery, Photogrammetric Engineering and Remote Sensing, 1979, 45(8): 1109-1116
[6] Laner D.T., and Todd W.J., Land Cover Mapping with Merged Landsat RBV and MSS Stereoscopic Images, Prec. Of of ASP Fall Technical Conference, San Franciso, 1981, 680-689
[7] K．R．Castleman著，朱志刚等译，《数字图像处理》，电子工业出版社，2001
[8] 王建海等，多传感器数据融合浅析，上海大学学报(自然科学版)，Vol．3 No．4，1997，p454-461
[9] 刘贵喜，多传感器图像融合方法研究[博士论文]，西安电子科技大学，2001．1
[10] 阳方林等，像素级图像融合效果的评价方法研究，测试技术学报，Vol．16，No．4 2002，p276-279
[11] 夏明革、何友等，多传感器图像融合效果评价方法研究，电光与控制，Vol．10 No．2 2003．5，p31-35
[12] 赵荣椿等，《数字图像处理导论》，西北工业大学出版社，1996．7
[13] 胡广书著，<数字信号处理——理论、算法与实现》，清华大学出版社，1997．8
[14] 王宏等，多分辨率图像融合的研究与发展，控制理论与应用，Vol．21 No．1 2004．2，p145-151
[15] 秦前清、杨宗凯著，《实用小波分析》，西安电子科技大学出版社，1994．1
[16] 崔锦泰[美]著，程正兴译，《小波分析导论》，西安交通大学出版社，1995．1
[17] 陈武凡著，《小波分析及其在图像处理中的应用》，科学出版社，2002．4
[18] 彭玉华著，《小波变换与工程应用》，科学出版社，1999．9
[19] Mallat著，杨力华等译，《信号处理的小波导引》，机械工业出版社，2002．9
[20] 陆宏波等，基于小波变换的图像融合方法，微电子与基础产品，Vol．27，No．5，p54-57，2001
[21] H.Li, B.S. Manjunath, and S.K. Mitra, Multisensor Image Fusion Using the Wavelet Transform, Graphical Models and Image Processing, Vol.57, No.3, May, p235-245, 1995
[22] Guan Xiaoping and Guan Zequn, Detection of High Resolution Remote Sensing Imagery Using Wavelet, the 22~(nd) Asian Conference on Remote Sensing, 5-9 November 2001
[23] Tao Guanqun etc., On Image Fusion Based on Different Fusion Rules of Wavelet Transform,光子学报，Vol.33, No.2, 2004, p221-224
[24] P.K.Varshney, Multi-sensor Data Fusion, Electronics& Communication Engineering Journal, No.12, 1997, p454-253
[25] Gemma Piella, A general Framework for Multiresolution Image Fusion: from Pixels to Regions, report
PNA-R0211 May 31, 2002
[26] Jun Li, A Wavelet Approach to Edge Detection: [master thesis], Sam Houston State University. Huntsville, Texas, August 2003
[27] Qu Jishuang and Wang Chao, A Wavelet Package-Based Data Fusion Method for Multitemporal Remote Sensing Image Processing, the 22~(nd) Asian Conference on Remote Sensing, 5-9 November 2001
[28] Shutao Li etc., Combination of Images with Diverse Focuses using The Spatial Frequency, Elsevier Science Ltd, Information Fusion 2(2001) p169-176
[29] Yong Du etc., Satellite Image Fusion with Multi-scale Wavelet Analysis for Marine Applications, Can.J. Remote Seusing, Vol.29, No.1, p14-23, 2003
[30] Jorge nunez etc., Simultaneous Image Fusion and Recomtruction using Wavelets Applications to SPOT+LANDSAT images, Elsevier Science Ltd, Vistas in Astronomy Vol.41, No.3, p351-357, 1997
[31] Shutao Li etc., Using the Discrete Wavelet Frame Transform to Merge Landsat TM and SPOT Anchromatic Images, Elsevier Science Ltd, Information Fusion 3(2002) p17-23
[32] Stavri Nikolov etc., Wavelets for Image Fusion, Image Communications Group, Center for Communications Research, University of Bristol
[33] G.Simone etc., Image Fusion Techniques for remote sensing applications, Elsevier Science Ltd, Information Fusion 3(2002) p3-15
[34] 吴秀清等，采用小波变换的图像数据融合方法及实现，小型微型计算机系统，Vol．21，No．8，2000，p833-835
[35] 蒋晓瑜等，小波变换在多光谱图像融合中的应用，电子学报，Vol．25，No．8，1997，p105-108
[36] 崔岩梅等，一种基于小波变换的多尺度多算子图像融合方法，光学技术，No．4，1999，p37-39
[37] 孙辉，基于小波变换的图像融合方法，光学精密工程，Vol．8，No．6，2000，p551-553
[38] 汤志伟等，使用小波分析的图像融合算法，电子科技大学学报，Vol．29，No．2，2000，p122-125
[39] 李勤，适合于生物图像的图像融合算法研究，光学学报，Vol．20，No．4，p454-500
[40] 刘贵喜等，基于梯度塔形分解的多传感器图像融合，光电子激光，Vol．12，No．3，2001，p293-296
[41] 陈勇等，基于小波变换的红外图像融合技术研究，红外与激光工程，Vol．30，No．1，2001，p15-17
[42] 汤志伟等，图像融合的一种新算法，电子与信息学报，Vol．23，No．1，2001，p88-91
[43] 那彦等，图像信息融合与医学图像综合显示，西安电子科技大学学报，Vol．31，No．1，2004，p21-24
[44] 王建卫，基于小波变换的数字图像融合，情报指挥控制系统与仿真技术，No．6，2000，p51-56
[45] 夏明革等，多传感器图像融合综述，电光与控制，Vol．9，No．4，2002，p1-7
[46] 江东等，多源图像信息融合的理论与技术，甘肃科学学报，Vol．14，No．1，2002，p41-45
[47] 刘志镜等，基于空域中的图像融合算法研究，计算机工程与涉及，Vol．23，No．9，2002，p72-76
[48] 赵瑞珍等，基于小波变换的图像多尺度数据融合，计算机辅助设计与图像学学报，Vol．14，No．4，2002，p361-364
[49] 陶洪久等，基于小波的全局多源遥感图像信息融合方法，红外与激光工程，Vol．31，No．4，2002，p346-350
[50] 柴艳妹等，一种基于小波分析的自适应图像融合方法，中国体视学与图像分析，Vol．7，No．4，2002，p240-243
[51] 霍洪涛等，《数字图像处理》，北京理工大学出版社，2002．9
[52] 张孝飞，医学图像信息融合的研究[硕士论文]，广西师范大学，2001．11
[53] 肖李，多波段图像融合技术研究[硕士论文]，武汉理工大学，2003．3
[54] 郭志强，基于图像融合处理的钢炉测厚系统的研究[硕士论文]，武汉理工大学，2003．5
[55] 周金萍，《MATLAB 6.5图形图像处理与应用实例》，科学出版社，2003．8
[56] 伯晓晨等，《Matlab工具箱应用指南——信息工程篇》，电子工业出版社，2000
[57] 王晓丹等，《基于Matlab的系统分析与设计：图像处理》，西安电子科技大学出版社，2000
[58] 胡昌华等，《基于Matlab的系统分析与设计：小波分析》，西安电子科技大学出版社，1999