多源遥感图像融合技术研究
|
摘要
作为图像融合领域的一个重要分支，多源遥感图像融合研究的是如何综合利用不同航空遥感传感器所获取的图像信息，来产生新的数据，以获取对同一事物或目标的更为全面、客观及本质上的认识。在高度信息化的今天，遥感图像融合已经成为图像处理和图像信息理解领域中不可或缺的技术，并在很多军事和民用方面有着重要应用。
本文应用图像处理和现代信号处理技术中的多种手段，研究了不同层次上多源遥感图像的融合方法。通过对不同航空遥感传感器所获取的图像数据进行融合，从而提高图像的分辨率、图像分析结果的准确性和置信度，并最终提高对特定航空目标进行自动检测、识别的有效性。
本文的主要研究内容和工作可总结如下：
1．介绍了图像融合的基本概念和原理，进而系统分析了多种传统的图像融合方法，并通过实验对其特点和性能做了细致的对比，总结出了一系列有用的结论；
2．在特征级融合方面，提出了一种基于方向性信息测度和IHS变换的图像融合算法。实验表明该算法产生的光谱畸变很小，并且有良好的抗噪性，非常适合处理多光谱图像的融合；
3．在多分辨率图像融合算法中，提出了基于小波变换的自适应图像融合算法(DWT_EI)。与传统算法比较，该算法在提高图像信息含量方面表现得最好。同时它的运算也相对简单，并且和原始图像的相关性也很好(即光谱畸变小)，是一种非常好的融合算法；
4．归纳并给出了基于信息量的评价、基于统计特性的评价、基于相关性的评价和基于梯度值的评价四类十项融合结果评价指标。这些指标被用于对融合实验结果的实际评价中，使得对算法的评价从定性到定量两方面都有了一定的评价标准；
5．不仅从实际应用角度验证了图像融合技术能够增加图像信息含量、提高图像分割、分类和识别的有效性这一结论，而且从理论角度出发，进一步探讨了图像融合中的识别与决策问题。同时对图像融合中的可靠性与容错性问题也进行了简要分析；
6．除多源遥感影像作为实验数据以外，本文还选用了一组多聚焦可见光图片来验证和评价各种算法的融合效果，从而使得各种算法的有效性及优劣性更加直观。
As one of the important aspects of image fusion, multi-sensor remote-sensing image fusion (MS-RSIF) investigates how to integrate image information from different aerial remote sensors, and generate new data, for more complete, objective, and essential cognition of the specified target. With the development of information technologies, currently, RSIF becomes indispensable in image processing and understanding, along with many important military and civil applications.
In this thesis, MS-RSIF methods are investigated in different levels by means of image processing and modern signal processing techniques. Through fusion of image data from different aerial remote sensors, we can improve the image resolution and analysis results in precision and believability, and further improve the effectiveness in detection and recognition of specific aerial targets.
In the following is the main contents and contributions of this thesis:
1. Basic concepts and principles of RSIF are introduced, and many traditional algorithms are then systemically analyzed; With detail comparison of their characteristics and performances, a series of useful conclusions are given;
2. As for feature-level fusion, a new algorithm based on orientation information measurement and HIS transform is proposed. The experimental results have demonstrated that the proposed method very suitable for fusion of spectrum images in mostly preserving spectrum information and resisting noises;
3. As for the multi-resolution image fusion, a wavelet transform based self-adaptive algorithm (DWT_EI) is proposed. Compared with traditional ones, our method has best performance in obtaining information entropy with lower calculation cost, and more correlation with the source image;
4. Ten criterion items in four groups based on information quantity, statistic speciality, correlation and gradient respectively, are summarized for fusion evaluation, which are utilized in the experiments to acquire both qualitative and quantitative analysis of the fusion results;
5. Not only verified the conclusion that image fusion can improve image information and efficiency of segment, classification and recognition, but also further discussed the recognition and decision problems involved in image fusion. In Addition, reliability and fault-tolerance are also analyzed;
6. Except for multi-source remote sensing images, a group of multi-focus images are also applied in our experiments to validate and evaluate fusion algorithms with more intuitional and explicit results.
本文应用图像处理和现代信号处理技术中的多种手段，研究了不同层次上多源遥感图像的融合方法。通过对不同航空遥感传感器所获取的图像数据进行融合，从而提高图像的分辨率、图像分析结果的准确性和置信度，并最终提高对特定航空目标进行自动检测、识别的有效性。
本文的主要研究内容和工作可总结如下：
1．介绍了图像融合的基本概念和原理，进而系统分析了多种传统的图像融合方法，并通过实验对其特点和性能做了细致的对比，总结出了一系列有用的结论；
2．在特征级融合方面，提出了一种基于方向性信息测度和IHS变换的图像融合算法。实验表明该算法产生的光谱畸变很小，并且有良好的抗噪性，非常适合处理多光谱图像的融合；
3．在多分辨率图像融合算法中，提出了基于小波变换的自适应图像融合算法(DWT_EI)。与传统算法比较，该算法在提高图像信息含量方面表现得最好。同时它的运算也相对简单，并且和原始图像的相关性也很好(即光谱畸变小)，是一种非常好的融合算法；
4．归纳并给出了基于信息量的评价、基于统计特性的评价、基于相关性的评价和基于梯度值的评价四类十项融合结果评价指标。这些指标被用于对融合实验结果的实际评价中，使得对算法的评价从定性到定量两方面都有了一定的评价标准；
5．不仅从实际应用角度验证了图像融合技术能够增加图像信息含量、提高图像分割、分类和识别的有效性这一结论，而且从理论角度出发，进一步探讨了图像融合中的识别与决策问题。同时对图像融合中的可靠性与容错性问题也进行了简要分析；
6．除多源遥感影像作为实验数据以外，本文还选用了一组多聚焦可见光图片来验证和评价各种算法的融合效果，从而使得各种算法的有效性及优劣性更加直观。
As one of the important aspects of image fusion, multi-sensor remote-sensing image fusion (MS-RSIF) investigates how to integrate image information from different aerial remote sensors, and generate new data, for more complete, objective, and essential cognition of the specified target. With the development of information technologies, currently, RSIF becomes indispensable in image processing and understanding, along with many important military and civil applications.
In this thesis, MS-RSIF methods are investigated in different levels by means of image processing and modern signal processing techniques. Through fusion of image data from different aerial remote sensors, we can improve the image resolution and analysis results in precision and believability, and further improve the effectiveness in detection and recognition of specific aerial targets.
In the following is the main contents and contributions of this thesis:
1. Basic concepts and principles of RSIF are introduced, and many traditional algorithms are then systemically analyzed; With detail comparison of their characteristics and performances, a series of useful conclusions are given;
2. As for feature-level fusion, a new algorithm based on orientation information measurement and HIS transform is proposed. The experimental results have demonstrated that the proposed method very suitable for fusion of spectrum images in mostly preserving spectrum information and resisting noises;
3. As for the multi-resolution image fusion, a wavelet transform based self-adaptive algorithm (DWT_EI) is proposed. Compared with traditional ones, our method has best performance in obtaining information entropy with lower calculation cost, and more correlation with the source image;
4. Ten criterion items in four groups based on information quantity, statistic speciality, correlation and gradient respectively, are summarized for fusion evaluation, which are utilized in the experiments to acquire both qualitative and quantitative analysis of the fusion results;
5. Not only verified the conclusion that image fusion can improve image information and efficiency of segment, classification and recognition, but also further discussed the recognition and decision problems involved in image fusion. In Addition, reliability and fault-tolerance are also analyzed;
6. Except for multi-source remote sensing images, a group of multi-focus images are also applied in our experiments to validate and evaluate fusion algorithms with more intuitional and explicit results.
引文
1．贺一平，基于信息融合的目标识别分类技术研究，西北工业大学硕士学位论文，指导教师王海燕，2002
2．王文杰，基于小波变换的遥感图像数据融合技术，中国科学院硕士学位论文，指导教师朱重光，2000年7月
3．冯伟，多源遥感影像数据融合方法研究，西北工业大学本科学位论文，指导教师赵荣椿、赵忠明，2000年6月
4．毛士艺、赵巍等，多传感器图像融合技术综述，北京航空航天大学学报，2002年10月第28卷第5期，512～518
5．夏明革、何友、唐小明、夏仕昌等，多传感器图像融合综述，电光与控制，2002年11月第9卷第4期，1～7
6. A. Toet, Image fusion by a ratio oflow-pass pyramid,PATTERN RECOGNITION LETTERS, Vol 9, pp. 245-253
7．夏明革、何友、黄晓冬、夏仕昌等，多传感器图像融合应用评述，舰船电子对抗，2002，25(5)：38～44
8．刘同明、夏祖勋、解洪成等，数据融合技术及其应用，1998．9，国防工业出版社
9．胡江华、柏连发、张保民，像素级多传感器图像融合技术，南京理工大学学报，1996年20(5)：453～456
10．周前祥、敬忠良、姜世忠，不同光谱与空间分辨率遥感图像融合方法的理论研究，遥感技术与应用，2003年2月第18卷第1期，41～46
11．宁书年、吕松堂、杨晓勤等，遥感图像处理与应用，1995年6月，地震出版社
12．杨燕琼、谭曦光，南方林区TM遥感图象增强方法的研究，林业资源管理，1998年第5期，63～66
13．赵帮元、荆小峰，TM卫星影像几何纠正技术方法浅探，中国水土保持SWCC，2000年第6期，30～32
14．邓炜、赵荣椿，基于小波变换的SAR图像相干斑噪声消除方法研究，信号处理，2001年2月第17卷第一期，86～71
15．赵健、宋祖勋、俞卞章，基于多重分形分析的SAR图像消噪增强研究，西北工业大学学报，2003年2月第21卷第1期，30～33
16．冯桂、卢健、林宗坚，图像直方图不变特性在影像匹配定位中的应用，计算机辅助设计与图形学学报，2000，Vol．12，No．2，P．146～158
17. L.G. Brown, A survey of image registration techniques, ACM Computer, Surveys, Vol. 24, no.4, pp.325～376, Dec.1992
18. Chavez, P.S., S.C. Sides, and J.A. Anderson, 1991. Comparison of Three Different Methods of Merge Multi-resolution and Multispectral Data: Landsat TM and SPOT Panchromatic. Photogrammetrie Engineering & Remote Sensing. 57(3):295-303.
19．金红、刘榴娣，彩色空间变换法在图像融合中的应用，光学技术，1997年7月第4期，44～48
20. Rockinger, O., and Fechner, T., Pixel-level image fusion: The case of image sequences, in SPIE Proceedings, 1998, vol. 3374, pp. 378—388
21．赵荣椿、赵忠明等，数字图象处理导论，2000年8月，西北工业大学出版社
22．杨海军、梁德群，、毕胜，基于图像方向性信息测度的图像象素分类．，中国图像图形学报，2001，5：429-433
23．崔岩梅，、倪国强等，利用统计特性进行图像融合效果分析及评价，北京理工大学学报，1：102-106，2000
24. Peter J. Burt and Raymond J. Kolczynski,, Enhanced Image Capture Through Fusion, IEEE 1993,173-182
25. Frans Voorbraak., On the justification of Dempster's rule of combination, Artificial Intelligence, 1991(48): 171～19
26. Henkind S J, et al, an analysis of four uncertainty calculi, IEEE Trans. on SMC, 1988 18(5):700～714
27. David L Hall, Mathematical techniques in multisensor data fusion[M], London : Arttch House Boston, 1992.
28．马骏、孙即祥，基于准贝叶斯结构的决策融合，航天电子技术，1998，(4)：17～23
29．肖人彬、王雪等，相关证据合成方法的研究，模式识别与人工智能，1993 6(3)：227～334．
30．徐从富、耿卫东、潘云鹤，Dempster-Shafer证据推理方法理论与应用的综述，模式识别与人工智能，1999 12(4)：424～430．
31．赵松年、熊小芸，子波变换与子波分析，电子工业出版社，1996年12月
32．王小睿、吴信才，遥感多图像的自动配准方法，中国图像图形学报，1997年第2卷第10期，735～738
33．罗志增、蒋静坪，机器人感觉与多信息融合，机械工业出版社，2002年6月
34．孙涛、张宏建，目标识别中的信息融合技术，自动化仪表，2001年第22卷第2期，1～4
35．裴晓宁、张建宝、赵宗涛，多源遥感图像融合及应用，计算机工程与科学，2001年第23卷第6期，15～17
36．汤志伟、王建国、黄顺吉，使用小波分析的图像融合算法，电子科技大学学报，2：122-125，2000
37．蒲恬、倪国强等，基于对比度的分辨率图像融合，电子学报，2000．12，Vol．28，No．12，P．1～3
38．胡占虎、李言俊，基于小波理论的多分辨多传感器数据融合，数据采集与处理，2001．3，Vol．16，No．1，P．90～93
39．崔岩梅、倪国强等，一种基于小波变换的多尺度多算子图像融合方法，光学技术，1999年第四期
40．王智均、李仁德、李清泉，多进制小波理论在SPOT和TM影像融合中的应用，武汉大学学报，2001．2，Vol．26，No．1，P．24～28
41．孙辉．基于小波变换的图像数据融合方法．光学精密工程，6：551-553，2000
42．柴艳妹，任金昌，赵荣椿．一种基于小波变换的图像融合算法．中国体视学与图像分析，2002，7(4)：240-243
43．何国金等，多卫星遥感数据的信息融合：理论、方法与实践，中国图像图形学报，1999．9，Vol．4，No．9，744～749
44．孙红岩、毛士艺，多传感器目标识别的数据融合，电子学报，1995．10，Vol．23，No．10，188～193
45．贾永红、李德仁、孙家柄，多源遥感影像数据融合，遥感技术与应用，2000．3，Vol．15，No．1，41～44
46．余二永、王润生，小波变换实现多光谱图像融合增强，计算机工程与科学，2001年第23卷第1期，47～49
47．蒋晓瑜、高稚允、周立伟，基于假彩色的多重图像融合，北京理工大学学报，1997．10，Vol．17，No．5，P．646～649
48．肖李、卢凌、黄红星，基于改进IHS变换的图像融合方法，武汉理工大学学报，2003，Vol．27，No．1，
49．林瑛、蔡利栋，彩色图像的反扩散恢复，暨南大学学报(自然科学版)，1999．10，Vol．20，No．5，P．37～44
50．阳方林、郭红阳、杨风暴，像素级图像融合效果的评价方法研究，测试技术学报，2002年第16卷第4期，276～279
51．17王延平、袁杰、廖原、苏祥芳，利用信息融合技术的缺损目标识别方法，中国图像图形学报，2000．3，Vol．5，No．3，P．237～240
52. C.POHL and J.L.VAN GENDEREN, "Multi-sensor image fusion in remote sensing: concepts, methods and applications", INT. J. Remote Sensing, 1998, Vol. 19, No.5, P.823～854
53. Jorge Nunez, Xavier Otazu, Octaci Fors etc. Multi-resolution-Based Image Fusion with Additive Wavelet Decomposition, IEEE Transactions on Geoscience and Remote Sensing, 1999.5, Vol.37, No.3, P.1204～1211
54. A.P.a. Dempster, Generalization of Bayesian inference. J. Royal Statistical Soc., 1968,205～247.
55. H.L.B.S.Manjunath and S.K.Mitra, "Multi-sensor Image Fusion Using the Wavelet Transform", Graphical Models and Image Processing, 1995.3, Vol.57, No.3, pp. 235～245
56. Harris, J.R.Murray,T.Hirose. IHS transformation for the integration of radar imagery with other remotely sensed data. PE&RS,1990,Vol.56,No. 12
57. Jorge Nunez, Xavier Otazu, Albert Prades etc, Multiresolution-Based Image Fusion with Additive Wavelet Decomposition, IEEE Transactions on Geoscience and Remote Sensing, Vol.37, No.3.May 1999, 1024～1210
58. Ajith H, Brian A. Feature-Level and Decision-Level Fusion of Noncoincidently Sampled Sensors for Land Mine Detection. IEEE Transacions on Patten Analysis and Machine Intelligence, Vol.23, No.6, June 2001,577～589
2．王文杰，基于小波变换的遥感图像数据融合技术，中国科学院硕士学位论文，指导教师朱重光，2000年7月
3．冯伟，多源遥感影像数据融合方法研究，西北工业大学本科学位论文，指导教师赵荣椿、赵忠明，2000年6月
4．毛士艺、赵巍等，多传感器图像融合技术综述，北京航空航天大学学报，2002年10月第28卷第5期，512～518
5．夏明革、何友、唐小明、夏仕昌等，多传感器图像融合综述，电光与控制，2002年11月第9卷第4期，1～7
6. A. Toet, Image fusion by a ratio oflow-pass pyramid,PATTERN RECOGNITION LETTERS, Vol 9, pp. 245-253
7．夏明革、何友、黄晓冬、夏仕昌等，多传感器图像融合应用评述，舰船电子对抗，2002，25(5)：38～44
8．刘同明、夏祖勋、解洪成等，数据融合技术及其应用，1998．9，国防工业出版社
9．胡江华、柏连发、张保民，像素级多传感器图像融合技术，南京理工大学学报，1996年20(5)：453～456
10．周前祥、敬忠良、姜世忠，不同光谱与空间分辨率遥感图像融合方法的理论研究，遥感技术与应用，2003年2月第18卷第1期，41～46
11．宁书年、吕松堂、杨晓勤等，遥感图像处理与应用，1995年6月，地震出版社
12．杨燕琼、谭曦光，南方林区TM遥感图象增强方法的研究，林业资源管理，1998年第5期，63～66
13．赵帮元、荆小峰，TM卫星影像几何纠正技术方法浅探，中国水土保持SWCC，2000年第6期，30～32
14．邓炜、赵荣椿，基于小波变换的SAR图像相干斑噪声消除方法研究，信号处理，2001年2月第17卷第一期，86～71
15．赵健、宋祖勋、俞卞章，基于多重分形分析的SAR图像消噪增强研究，西北工业大学学报，2003年2月第21卷第1期，30～33
16．冯桂、卢健、林宗坚，图像直方图不变特性在影像匹配定位中的应用，计算机辅助设计与图形学学报，2000，Vol．12，No．2，P．146～158
17. L.G. Brown, A survey of image registration techniques, ACM Computer, Surveys, Vol. 24, no.4, pp.325～376, Dec.1992
18. Chavez, P.S., S.C. Sides, and J.A. Anderson, 1991. Comparison of Three Different Methods of Merge Multi-resolution and Multispectral Data: Landsat TM and SPOT Panchromatic. Photogrammetrie Engineering & Remote Sensing. 57(3):295-303.
19．金红、刘榴娣，彩色空间变换法在图像融合中的应用，光学技术，1997年7月第4期，44～48
20. Rockinger, O., and Fechner, T., Pixel-level image fusion: The case of image sequences, in SPIE Proceedings, 1998, vol. 3374, pp. 378—388
21．赵荣椿、赵忠明等，数字图象处理导论，2000年8月，西北工业大学出版社
22．杨海军、梁德群，、毕胜，基于图像方向性信息测度的图像象素分类．，中国图像图形学报，2001，5：429-433
23．崔岩梅，、倪国强等，利用统计特性进行图像融合效果分析及评价，北京理工大学学报，1：102-106，2000
24. Peter J. Burt and Raymond J. Kolczynski,, Enhanced Image Capture Through Fusion, IEEE 1993,173-182
25. Frans Voorbraak., On the justification of Dempster's rule of combination, Artificial Intelligence, 1991(48): 171～19
26. Henkind S J, et al, an analysis of four uncertainty calculi, IEEE Trans. on SMC, 1988 18(5):700～714
27. David L Hall, Mathematical techniques in multisensor data fusion[M], London : Arttch House Boston, 1992.
28．马骏、孙即祥，基于准贝叶斯结构的决策融合，航天电子技术，1998，(4)：17～23
29．肖人彬、王雪等，相关证据合成方法的研究，模式识别与人工智能，1993 6(3)：227～334．
30．徐从富、耿卫东、潘云鹤，Dempster-Shafer证据推理方法理论与应用的综述，模式识别与人工智能，1999 12(4)：424～430．
31．赵松年、熊小芸，子波变换与子波分析，电子工业出版社，1996年12月
32．王小睿、吴信才，遥感多图像的自动配准方法，中国图像图形学报，1997年第2卷第10期，735～738
33．罗志增、蒋静坪，机器人感觉与多信息融合，机械工业出版社，2002年6月
34．孙涛、张宏建，目标识别中的信息融合技术，自动化仪表，2001年第22卷第2期，1～4
35．裴晓宁、张建宝、赵宗涛，多源遥感图像融合及应用，计算机工程与科学，2001年第23卷第6期，15～17
36．汤志伟、王建国、黄顺吉，使用小波分析的图像融合算法，电子科技大学学报，2：122-125，2000
37．蒲恬、倪国强等，基于对比度的分辨率图像融合，电子学报，2000．12，Vol．28，No．12，P．1～3
38．胡占虎、李言俊，基于小波理论的多分辨多传感器数据融合，数据采集与处理，2001．3，Vol．16，No．1，P．90～93
39．崔岩梅、倪国强等，一种基于小波变换的多尺度多算子图像融合方法，光学技术，1999年第四期
40．王智均、李仁德、李清泉，多进制小波理论在SPOT和TM影像融合中的应用，武汉大学学报，2001．2，Vol．26，No．1，P．24～28
41．孙辉．基于小波变换的图像数据融合方法．光学精密工程，6：551-553，2000
42．柴艳妹，任金昌，赵荣椿．一种基于小波变换的图像融合算法．中国体视学与图像分析，2002，7(4)：240-243
43．何国金等，多卫星遥感数据的信息融合：理论、方法与实践，中国图像图形学报，1999．9，Vol．4，No．9，744～749
44．孙红岩、毛士艺，多传感器目标识别的数据融合，电子学报，1995．10，Vol．23，No．10，188～193
45．贾永红、李德仁、孙家柄，多源遥感影像数据融合，遥感技术与应用，2000．3，Vol．15，No．1，41～44
46．余二永、王润生，小波变换实现多光谱图像融合增强，计算机工程与科学，2001年第23卷第1期，47～49
47．蒋晓瑜、高稚允、周立伟，基于假彩色的多重图像融合，北京理工大学学报，1997．10，Vol．17，No．5，P．646～649
48．肖李、卢凌、黄红星，基于改进IHS变换的图像融合方法，武汉理工大学学报，2003，Vol．27，No．1，
49．林瑛、蔡利栋，彩色图像的反扩散恢复，暨南大学学报(自然科学版)，1999．10，Vol．20，No．5，P．37～44
50．阳方林、郭红阳、杨风暴，像素级图像融合效果的评价方法研究，测试技术学报，2002年第16卷第4期，276～279
51．17王延平、袁杰、廖原、苏祥芳，利用信息融合技术的缺损目标识别方法，中国图像图形学报，2000．3，Vol．5，No．3，P．237～240
52. C.POHL and J.L.VAN GENDEREN, "Multi-sensor image fusion in remote sensing: concepts, methods and applications", INT. J. Remote Sensing, 1998, Vol. 19, No.5, P.823～854
53. Jorge Nunez, Xavier Otazu, Octaci Fors etc. Multi-resolution-Based Image Fusion with Additive Wavelet Decomposition, IEEE Transactions on Geoscience and Remote Sensing, 1999.5, Vol.37, No.3, P.1204～1211
54. A.P.a. Dempster, Generalization of Bayesian inference. J. Royal Statistical Soc., 1968,205～247.
55. H.L.B.S.Manjunath and S.K.Mitra, "Multi-sensor Image Fusion Using the Wavelet Transform", Graphical Models and Image Processing, 1995.3, Vol.57, No.3, pp. 235～245
56. Harris, J.R.Murray,T.Hirose. IHS transformation for the integration of radar imagery with other remotely sensed data. PE&RS,1990,Vol.56,No. 12
57. Jorge Nunez, Xavier Otazu, Albert Prades etc, Multiresolution-Based Image Fusion with Additive Wavelet Decomposition, IEEE Transactions on Geoscience and Remote Sensing, Vol.37, No.3.May 1999, 1024～1210
58. Ajith H, Brian A. Feature-Level and Decision-Level Fusion of Noncoincidently Sampled Sensors for Land Mine Detection. IEEE Transacions on Patten Analysis and Machine Intelligence, Vol.23, No.6, June 2001,577～589
© 2004-2018 中国地质图书馆版权所有 京ICP备05064691号 京公网安备11010802017129号 地址：北京市海淀区学院路29号 邮编：100083 电话：办公室：(+86 10)66554848；文献借阅、咨询服务、科技查新：66554700 |