一种基于FPGA红外微光图像融合夜视系统设计
|
摘要
作为晚上获取夜视图像信息的两种重要手段,微光像增强器和红外探测器,由于工作波长和成像机理不同,对战场所获取图像的信息所表达的形式和侧重点不一样。运用图像融合理论和现代电子软件技术,将两种传感器所获取的图像信息加以分析、综合、融合、取长补短,能得到大于任何单一传感器所获得的信息量,对夜视信息的描述更全面、准确。
本文以夜视观瞄系统发展趋势为背景,通过分析两种夜视传感器成像机理和成像特点,研究了夜视图像融合技术；并结合现代电子器件和软件发展最新技术,设计了一种基于FPGA“共窗口”实时红外微光图像融合夜视系统,并采用伪彩色融合技术,实现了微光和红外图像数字融合。
本设计充分考虑了陆地战场复杂运动目标和背景图像配准的难点,采用前端“共窗口”和棱镜分光系统实现光学图像配准,降低后端数字处理难度,并保证了配准的实时性和鲁棒性,为后端实时图像融合提供了必要前提。为了达到图像处理的实时性,主处理器采用Xilinx公司的Virtex-5高端FPGA。整个系统采用模块化设计,并内嵌了一个MicroBlaze软核处理器,通过构建一个SOPC嵌入式系统,方便管理硬件处理算法及人机交互。
As two major methods for obtaining night-vision image information, image intensifier and infrared detectors diversify in the expression forms and focus for the image information obtained from the battlefield because of the different operating wavelength and imaging mechanism. With the application of Image Fusion Theory and modern electronic software technology and after the analysis, integration, fusion and complementation with each other, the image information obtained from two kinds of sensors will exceed that obtained from the single sensor and will offer a more comprehensive and more accurate night-vision information.
Background with the development tendency of night-vision observation system and with the analysis on the imaging mechanism and imaging characteristics of these two kinds of night-vision sensors, this text carries researches on night-vision image fusion technology. Combining with the advanced technologies in electronic devices and software development, a timely FPGA common window infrared light level image fusion night vision system is designed and the fusion between low light level and infrared digital image is realized with the application of false color fusion technology.
This design takes full consideration of the complicated movement target on land battlefield and the difficulties of background image registration, realizes the optical image registration by employing "Common Window" and the prism splitter system, lowers the handling difficulty for the back-end data and guarantees timeliness and robustness, providing a necessary precondition for back-end timely images fusion. To obtain the timeliness of image handling, the advanced FPGA of Virtex-5by the Xilinx Company is employed by the main processor. The whole system is with the modular design and embedded with a MicroBlaze soft-core processor. And with the construction of a SOPC embedded system, the management of hardware processing algorithm and human-computer interaction become convenient.
本文以夜视观瞄系统发展趋势为背景,通过分析两种夜视传感器成像机理和成像特点,研究了夜视图像融合技术；并结合现代电子器件和软件发展最新技术,设计了一种基于FPGA“共窗口”实时红外微光图像融合夜视系统,并采用伪彩色融合技术,实现了微光和红外图像数字融合。
本设计充分考虑了陆地战场复杂运动目标和背景图像配准的难点,采用前端“共窗口”和棱镜分光系统实现光学图像配准,降低后端数字处理难度,并保证了配准的实时性和鲁棒性,为后端实时图像融合提供了必要前提。为了达到图像处理的实时性,主处理器采用Xilinx公司的Virtex-5高端FPGA。整个系统采用模块化设计,并内嵌了一个MicroBlaze软核处理器,通过构建一个SOPC嵌入式系统,方便管理硬件处理算法及人机交互。
As two major methods for obtaining night-vision image information, image intensifier and infrared detectors diversify in the expression forms and focus for the image information obtained from the battlefield because of the different operating wavelength and imaging mechanism. With the application of Image Fusion Theory and modern electronic software technology and after the analysis, integration, fusion and complementation with each other, the image information obtained from two kinds of sensors will exceed that obtained from the single sensor and will offer a more comprehensive and more accurate night-vision information.
Background with the development tendency of night-vision observation system and with the analysis on the imaging mechanism and imaging characteristics of these two kinds of night-vision sensors, this text carries researches on night-vision image fusion technology. Combining with the advanced technologies in electronic devices and software development, a timely FPGA common window infrared light level image fusion night vision system is designed and the fusion between low light level and infrared digital image is realized with the application of false color fusion technology.
This design takes full consideration of the complicated movement target on land battlefield and the difficulties of background image registration, realizes the optical image registration by employing "Common Window" and the prism splitter system, lowers the handling difficulty for the back-end data and guarantees timeliness and robustness, providing a necessary precondition for back-end timely images fusion. To obtain the timeliness of image handling, the advanced FPGA of Virtex-5by the Xilinx Company is employed by the main processor. The whole system is with the modular design and embedded with a MicroBlaze soft-core processor. And with the construction of a SOPC embedded system, the management of hardware processing algorithm and human-computer interaction become convenient.
引文
[1]倪平平.红外与微光图像融合夜视系统设计[D].南京：南京理工大学,2008.6.
[2]王停.红外与微光图像融合技术研究[D].南京：南京理工大学,2007.7.
[3]刘咏.红外与微光图像融合实时处理系统硬件设计[D].南京：南京理工大学,2006.6.
[4]曹倩.红外与微光图像融合实时处理器改进与算法研究[D].南京：南京理工大学,2007.7.
[5]栾莹莹.微光与红外图像配准技术研究[D].南京：南京理工大学,2010.6.
[6]刘卫光,周利华.一种,塔形分解的红外与可见光图像融合方法[J].红外技术2004,Vol26(4)：31-35.
[7]王毅,倪国强.多分辨率图像融合算法在DSP系统中的实现[J].北京理工大学学报,2001,Vol21(6)
[8]李师亿.微光与红外图像融合算法研究与系统设计[D].南京：南京理工大学,2008.6.
[9]王毅,倪国强,李勇量.多分辨图像融合算法在DSP系统中的实现[J].北京理工大学学报.2001,Vol21(12)：765-769.
[10]王毅,倪国强,李勇量.基于TM3s20Cx6的双波段图像高速融合系统[J].中国图像图形学报.2002,Vol7(10)：1038-1042.
[11]倪国强,王毅,方庆品,蒲恬.实时图像融合技术研究的硬件实现[J].红外与激光工程.2002,Vol31(4)：342-345.
[12]李勇量,倪国强,陈小梅.采用可编程器件实现图像实时融合系统的控制[J].光电工程.2003,Vol30(8)：11-14
[13]辛福学ICCD光纤耦合技术.红外与激光工程[J].2001年第3期.
[14]张灿林,陈钱,周蓓蓓.高灵敏电子倍增CCD的发展现状[J].红外技术,2007,29(4)：192-195.
[15]DENVIR D J, CONROY E. Electron multiplying CCD technology:the new ICCD[C]. SPIE,2003,4796:164-174.
[16]张灿林,陈钱,尹丽菊.电子倍增CCD倍增要件研究[J].光子学报,2009,38(11).
[17]韩露,熊平EMCCD工作原理及性能分析[J].技术与应用,2009.
[18]李俊山,杨威,张雄美.红外图像处理、分析与融合[M].北京：科学出版社,2009.
[19]Maiter H, Bloch I. Image Fusion. Vistas in Astronomy,1997,41(3):329-335.
[20]Taxt T, Solber A H S. Information Fusion in Remote Sensing. Vistas in Astronomy,1997,41(3):337-342.
[21]靳国栋,闰成新.多传感器数据融合及其在图像信息处理中的应用[J].黑龙江大学自然科学学报.2003,20(4).
[22]倪国强.多波段图像融合算法研究及其发展[J].光电子技术与信息.2004,14(6).
[23]毛士艺,赵巍.多传感器图像融合技术综述[J].北京航空航天大学学报.2002,28(5).
[24]覃征,鲍复民等.数字图像融合[M].西安：西安交通大学出版社,2004.
[25]冈萨雷斯.数字图像处理(第二版)[M].北京：电子工业出版社,2006.
[26]郭志强.多源图像融合方法及评价.国外建材科技.2003.vol24.Nol.
[27]程英蕾,赵荣春等.基于像素级的图像融合方法研究.计算机应用研究.2004.No.5：169-172.
[28]吴良华.多传感器图像融合算法研究[D].长沙：国防科技大学,2005.
[29]Burt P J.Kolczynski R J. Enhanced image capture through fusion [A].In:IEEE 4th International Conf computer Vision[C],1993,4.173-182.
[30]刘哲.基于信息融合地遥感图像处理方法研究[D].西安：西北工业大学,2002.
[31]蒋晓瑜,高稚允,周立伟.基于假彩色的多重图像融合[J].北京理工大学学报,Oct.1997Vol.17 NO.5.
[32]赵魏,毛士艺.一种基于假彩色的像素级多传感器图像融合算法[J].电子学报,Vol.31,No.3 Mar.2003.
[33]田耘,徐文波等Xilinx ISE Design Suit 10.x FPGA开发指南—逻辑设计篇[M].北京：人民邮电出版社,2008.
[34]陈炎斌,金钢.基于Camera Link标准的DSP+FPGA高速实时数字图像处理系统设计[J].现代科学仪器.No.6 Dec.2010.
[35]王小艳,张会新Camera Link协议和FPGA的数字图像信号源设计[J].国外电子元器件.2008年第七期.
[36]孙航,胡灵博等Xilinx可编程逻辑器件应用与系统设计[M].北京：电子工业出版社,2008.
[37]王金明.数字系统设计与Verilog HDL(第四版)[M].北京：电子工业出版社,2011.
[38]田耘,徐文波等Xilinx ISE Design Suit 10.x FPGA开发指南—DSP、嵌入式与高速传输篇[M].北京：人民邮电出版社,2008.
[39]刘滔,楼兴华FPGA数字电子系统设计与开发实例导航[M].北京：人民邮电出版社,2005.
[40]刘睿强FPGA应用技术及实践[M].北京：北京理工大学出版社,2011.
[2]王停.红外与微光图像融合技术研究[D].南京：南京理工大学,2007.7.
[3]刘咏.红外与微光图像融合实时处理系统硬件设计[D].南京：南京理工大学,2006.6.
[4]曹倩.红外与微光图像融合实时处理器改进与算法研究[D].南京：南京理工大学,2007.7.
[5]栾莹莹.微光与红外图像配准技术研究[D].南京：南京理工大学,2010.6.
[6]刘卫光,周利华.一种,塔形分解的红外与可见光图像融合方法[J].红外技术2004,Vol26(4)：31-35.
[7]王毅,倪国强.多分辨率图像融合算法在DSP系统中的实现[J].北京理工大学学报,2001,Vol21(6)
[8]李师亿.微光与红外图像融合算法研究与系统设计[D].南京：南京理工大学,2008.6.
[9]王毅,倪国强,李勇量.多分辨图像融合算法在DSP系统中的实现[J].北京理工大学学报.2001,Vol21(12)：765-769.
[10]王毅,倪国强,李勇量.基于TM3s20Cx6的双波段图像高速融合系统[J].中国图像图形学报.2002,Vol7(10)：1038-1042.
[11]倪国强,王毅,方庆品,蒲恬.实时图像融合技术研究的硬件实现[J].红外与激光工程.2002,Vol31(4)：342-345.
[12]李勇量,倪国强,陈小梅.采用可编程器件实现图像实时融合系统的控制[J].光电工程.2003,Vol30(8)：11-14
[13]辛福学ICCD光纤耦合技术.红外与激光工程[J].2001年第3期.
[14]张灿林,陈钱,周蓓蓓.高灵敏电子倍增CCD的发展现状[J].红外技术,2007,29(4)：192-195.
[15]DENVIR D J, CONROY E. Electron multiplying CCD technology:the new ICCD[C]. SPIE,2003,4796:164-174.
[16]张灿林,陈钱,尹丽菊.电子倍增CCD倍增要件研究[J].光子学报,2009,38(11).
[17]韩露,熊平EMCCD工作原理及性能分析[J].技术与应用,2009.
[18]李俊山,杨威,张雄美.红外图像处理、分析与融合[M].北京：科学出版社,2009.
[19]Maiter H, Bloch I. Image Fusion. Vistas in Astronomy,1997,41(3):329-335.
[20]Taxt T, Solber A H S. Information Fusion in Remote Sensing. Vistas in Astronomy,1997,41(3):337-342.
[21]靳国栋,闰成新.多传感器数据融合及其在图像信息处理中的应用[J].黑龙江大学自然科学学报.2003,20(4).
[22]倪国强.多波段图像融合算法研究及其发展[J].光电子技术与信息.2004,14(6).
[23]毛士艺,赵巍.多传感器图像融合技术综述[J].北京航空航天大学学报.2002,28(5).
[24]覃征,鲍复民等.数字图像融合[M].西安：西安交通大学出版社,2004.
[25]冈萨雷斯.数字图像处理(第二版)[M].北京：电子工业出版社,2006.
[26]郭志强.多源图像融合方法及评价.国外建材科技.2003.vol24.Nol.
[27]程英蕾,赵荣春等.基于像素级的图像融合方法研究.计算机应用研究.2004.No.5：169-172.
[28]吴良华.多传感器图像融合算法研究[D].长沙：国防科技大学,2005.
[29]Burt P J.Kolczynski R J. Enhanced image capture through fusion [A].In:IEEE 4th International Conf computer Vision[C],1993,4.173-182.
[30]刘哲.基于信息融合地遥感图像处理方法研究[D].西安：西北工业大学,2002.
[31]蒋晓瑜,高稚允,周立伟.基于假彩色的多重图像融合[J].北京理工大学学报,Oct.1997Vol.17 NO.5.
[32]赵魏,毛士艺.一种基于假彩色的像素级多传感器图像融合算法[J].电子学报,Vol.31,No.3 Mar.2003.
[33]田耘,徐文波等Xilinx ISE Design Suit 10.x FPGA开发指南—逻辑设计篇[M].北京：人民邮电出版社,2008.
[34]陈炎斌,金钢.基于Camera Link标准的DSP+FPGA高速实时数字图像处理系统设计[J].现代科学仪器.No.6 Dec.2010.
[35]王小艳,张会新Camera Link协议和FPGA的数字图像信号源设计[J].国外电子元器件.2008年第七期.
[36]孙航,胡灵博等Xilinx可编程逻辑器件应用与系统设计[M].北京：电子工业出版社,2008.
[37]王金明.数字系统设计与Verilog HDL(第四版)[M].北京：电子工业出版社,2011.
[38]田耘,徐文波等Xilinx ISE Design Suit 10.x FPGA开发指南—DSP、嵌入式与高速传输篇[M].北京：人民邮电出版社,2008.
[39]刘滔,楼兴华FPGA数字电子系统设计与开发实例导航[M].北京：人民邮电出版社,2005.
[40]刘睿强FPGA应用技术及实践[M].北京：北京理工大学出版社,2011.