摘要
发展高分辨率对地观测技术是我国2006年确立的16个重大科技专项之一,这一项目的实施,必将促进我国高分辨率遥感应用技术的发展,同时也为遥感数据的应用与处理带来了挑战。在有条件能够获取高分辨率遥感数据的同时,必将需要一套更加高效的处理方法,并最终使之得到有效的应用,否则这一技术的发展就失去了根本。基于分布式的存储,通过高性能的集群对海量遥感数据进行处理,已经是一种非常有效的方式。但对于集群应用环境来说,成本,能耗,以及规模等问题,都可能成为制约处理效率方面的因素,近几年来,基于GPU的通用计算技术为我们在这方面提供了另外一种途径。作为专门为图形,图像处理提供硬件加速的硬件,其通用运算接口能够为影像处理提供加速几乎是自然而然的事情。采用GPU+CPU的混合计算系统,比以往单纯CPU运算高出几十倍甚至几百倍,上千倍,将一直局限在大型服务器集群和超型计算机领域的高性能计算推向主流,可以使得PC和工作站具有超级计算的能力。
此外,空间信息的数字化存储,网络化传输,可视化表达和智能化应用是一个必然的趋势,而这几个方面是相互关联,存在制约关系的。好的数据存储方式,优化的网络传输,必然能够提高海量遥感数据的可视化应用效率。传统的存储方式往往存在弊端,有的模式是为数据管理和生产而设计,有的则是为可视化应用而设计。将二者有机统一起来,并采用一些新技术,在可视化技术中适当创新,也是本文讨论的问题之一。
本文从数据的存储,处理及应用三个方面阐述了海量遥感数据在计算机中的应用问题,文中着重论述了如下几个部分：
1)海量遥感数据的存储模式及调度
结合遥感数据的生产处理系统与可视化应用系统对数据存储的需求特点,提出了一个混合模式的数据管理系统,在实际应用中取得了满意的效果,既满足了数据管理上的需求,又符合可视化应用系统的需要。
2)遥感数据的高性能处理及分析
这部分属于本文的重点内容。结合实际遥感数据处理算法的特点,论述了采用GPU加速技术,对算法进行改造优化的步骤,从而提高了算法效率。着重以基于相关系数的匹配算法,以及大范围条件下矢量与栅格之间的空间分析算法为代表,分别阐述了遥感数抓的邻域处理,矢量运算,矢量栅格联合分析以及全局数据统计等算法的处理流程和优化方式。
3)海量遥感数据的三维可视化应用
主要针对海量遥感数据的地形渲染及交互方式进行了叙述。重点介绍了数据库中任意索引格网划分的条件下,DEM和正射影像之间如何正确匹配渲染,仍然使用了基于可编程的GPU渲染技术,无论从效率,效果上,都优于传统的直接基于OpenGL的渲染方法。尤其是在可视化表达手段上,由于采用高度可编程的方式,复杂的可视化效果只需要简单的手段即可实现,对复杂多维地形相关信息的可视化表达提供了一个非常好的于段.
上述几个组成部分是针对一个基于海量遥感数抓的可视化管理及应用系统,对其中影像效率的环节加以重点关注,并提出解决方法。文中叙述的方法已经在某集群数据处理系统中得到应用,而且取得了非常好的效果。尤其是通过GPU通用计算技术实现的栅格处理算法,较用户的原始算法都有几倍,几十倍的效率提升,大大提高了整个集群系统的处理效率。
Development of high-resolution earth observation technology was16major projects for science and technology development established in2006in China, and the implementation of this project will promote the development of its application technology. A very effective way to fulfill this project is using some techniques such as distributed storage, high-performance cluster etc, but these techniques bring issues such as cost, energy consumption. Recent years, GPU-based general-purpose computing technology bring us another way to resolve the problem of large scale computing. In conditions of moderm GPU technology, using general-purpose GPU computing interface can provide acceleration for image processing efficiency, and it can provid at least several times higher performance than mormal computer systems by using hybrid GPU+CPU computing systems, even hundreds of times, thousands of times more.
In addition, spatial information's digital storage, transmission through network, visualizations and intelligent application is an inevitable trend, it will bring us new challenges. For good use these massive remote sensing data, there are many problems to be solved such as network transmission optimization, storage methods, application model etc, and these also are the key issues discussed in this article.
This paper's main content as follows:
1) Storage model and scheduling of massive remote sensing data
To meet the requirements of data processing system and visualization applications of remote sensing data, proposed a mixed-mode data management system, and achieved satisfactory results in practical applications..
2) High-performance processing and analysis of remote sensing data
This part is the focus of this article content. Combined with the actual characteristics of the remote sensing data processing algorithms, this part discusses the technique that using GPU acceleration technology to optimize image processing algorithm. Emphasis on surface correlation algorithm, as well as the analysis algorithm for vector and raster data in a wide range conditions, explained the convolution, image mathching, vector arithmetic, vector and raster joint analysis and global statistics process in detail.
3) Massive remote sensing data visualization application
In this section, The author highlights the technology of3D terrain rendering and its interactive method for massive remote sensing data. Focuses on the conditions of vary index in the database of the DEM and the orthophoto, how to render them correct without coordinate registration. Also used the technique of programmable GPU, the experiment achieved satisfactory results in both of efficiency and effectiveness. Specifically in the complex visual effects applications, it is very simple than the traditional opengl way in implementation.
The technique discussed in this paper is very important to the solutions for the management and application system based on massive remote sensing data visualization, and has been successful applied in a data processing system in cluster environment. Using the general-purpose GPU technology, some raster processing algorithms had achieved ten or several dozen times efficiency increased compared to the user's original way.
引文
[1]边馥苓.空间信息导论[M].北京：测绘出版社,2006.
[2]边馥苓.数字工程的原理与方法[M].北京：测绘出版社,2006.
[3]曹仰杰,杨海兵,钱德沛等.多核编程模型运行时环境的自适应性研究.西安交通大学学报,2011,45(6)：130-134.
[4]陈刚,万刚,游雄.全球地形可视化方案的设计和实践[J].系统仿真学报,2001,13(增刊)：282-285.
[5]陈鸿,汤晓安,谢耀华,孙茂印.基于视点相关透视纹理的矢量数据在三维地形上的叠加绘制[J].计算机辅助设计与图形学学报,2010,22(5)：753-761.
[6]陈鹏霄,成鹏,张穗.长江荆江河段防洪调度三维可视化[J].长江科学院院报,2004,21(3)：51-53.
[7]陈炳发,陆楠,伍铁军.一种面向OPENGL的三维模型的转化方法[J].小型微型计算机系统,2004,25(3)：475-477.
[8]陈斌,董士海,方裕.海量三维地形数据集的流式处理[J].地理与地理信息科学,2005,21(2)：20-23.
[9]董士海,王坚,戴国忠等.人机交互和多通道用户界面[M].北京：科学出版社,1999.
[10]多相复杂系统国家重点实验室多尺度离散模拟项目组著.基于GPU的多尺度离散模拟并行计算[M].北京：科学出版社,2009.
[11]高辉.基于GPU的大规模地形快速渲染技术研究[D].国防科学技术大学,2006.
[12]冈萨雷斯.数字图象处理[M].北京：电子工业出版社.2003.
[13]国家遥感中心.地球空间信息科学技术进展[M].北京：电子工业出版社,2009.
[14]关元秀,程晓阳.高分辨率卫星影像处理指南[M].北京：科学出版社,2008.
[15]何斌,马天予等.Visual C++的数字图像处理[M].北京：人民邮电出版社,2001.
[16]黄普明,曹圣群,于伟,鞠德航.基于SPIHT算法的遥感图像高速实现方案[J].宇航学报,2003,24(3)：264-267.
[17]黄志澄.给数据以形象给信息以智能一数据可视化技术及其应用展望.电子展望与决策[J],1999(6)：3-9
[18]蒋欣,陈鹰.DOM与DEM数据的管理和三维可视化[J].测绘科学,2002,27(3)：40-43.
[19]林星,张毅,刘瑜.基于关系数据库的栅格数据存储和访问技术研究[J].高技术通讯,2005,15(1)：12-16.
[20]罗岱,谢茂金,曹卫群,黄心渊.基于GPU编程的地形可视化[J].中国图象图形学,2008,13(11)：2244-2249.
[21]刘文平.大规模地形可视化中的纹理技术[J].华中科技大学学报(自然科学版),2009,37(10)：64-67.
[22]刘耀林,邱飞岳,王丽学.基于GPU的图像快速旋转算法的研究及实现[J].计算机工程与科学.2008,30(6)：48-50.
[23]刘勇奎,周晓敏.虚拟现实技术和科学计算可视化[J].中国图形图像学报2000,5(9)：794-798.
[24]刘昭华,杨靖宇,戴晨光.矢量数据在三维场景中的绘制[J].金属矿山,2008,(6)：94-97
[25]李汇军,孔玉寿,阮鲲等.三维地形的可视化研究[J].解放军理工大学学报(自然科学版),2001,2(6)：90-94.
[26]李融,郑文庭.三维地形高质量实时矢量叠加绘制[J].计算机辅助设计与图形学学报,2011,23(7)：1106-1114.
[27]李宗华,彭明军.基于关系数据库技术的遥感影像数据库建库研究[J].武汉大学学报：信息科学版,2005,30(2)：166-169.
[28]李卓,邱慧娟.基于相关系数的快速图像匹配研究[J].北京理工大学学报,2007,27(11)：998-1000.
[29]卢丽君,廖明生,张路.分布式并行首算技术在遥感数据处理中的应用[J].测绘信息与工程,2005,30(3)：1-3.
[30]陆守一.地理信息系统[M].北京：高等教育出版社,2004年第1版.
[31]罗岱,谢茂金,曹卫群,黄心渊.基于GPU编程的地形可视化[J].中国图象图形学,2008,13(11)：2244-2249.
[32]沈古锋,骆剑承,陈秋晓等.高分辨率遥感影像并行处理数据分配策略研究[J].哈尔滨工业大学学报,2006,38(11)：1968-1976.
[33]潘宏伟,李辉,廖昌阊,曾安祥.一种基于现代GPU的大地形可视化算法[J].系统仿真学报2007,19(14)：3241-3244.
[34]史胜伟,娄昱明,朱新蕾.基于GPU的真实感地形绘制[J].电脑开发与应用,2008,21(6)：120-123.
[35]孙承志,唐新明,翟亮.我国测绘卫星的发展思路和应用展望[J],测绘科 学,2009,34(2)：5-7.
[36]孙家广等.首算机图形学[M].北京：清华大学出版社,1998年9月第3版.
[37]石雄,朱毅.一种面向现代GPU的大规模地形泣染技术[J].成都信息工程学院学报.2009,24(3)：230-235.
[38]梅青平,袁正午.一种面向多核环境加速算法的研究[J].西南大学学报(自然科学版),2011,33(5)：161-165.
[39]清水.信息可视化：畅游网络空间的伴侣[N].计算机世界,2004年03月29日.
[40]邱振戈.计算机立体视觉理论,算法与实现[D].郑州：解放军信息工程大学,2001.
[41]唐泽圣等.三维数据场可视化[M].北京：清华大学出版社,1999年第1版.
[42]汪承义,赵忠明,杨健.可视化遥感影像库系统设计与实现[J].计算机工程,2008,34(2)：283-285.
[43]王卜堂,杨善林.基于Gauss-laplace算子的灰度图像边缘检测[J].计算机[程与应用,2003(26)：132-134.
[44]王英杰,袁勘省,余卓渊.多维动态地学信息可视化[M].北京：科学出版社,2003年第1版.
[45]王华斌,唐新明,李黔湘.海量遥感影像数据存储管理技术研究与实现[J].测绘科学,2008,33(6)：153-157.
[46]王密,龚健雅,李德仁.大型无缝影像数据库管理系统的设计与实现[J].武汉大学学报,2003,28(3)：294-300.
[47]吴永兴,李霖,胡静妍,姜文亮.基于纹理映射技术的地形可视化[J].北京测绘,2005,3：7-10.
[48]肖汉,张祖勋.基于GPGPU的并行影像匹配算法[J].测绘学报,2010,39(1)：46-51.
[49]谢冰川,陈荦,赵亮.分布式海量遥感影像编目检索机制[J].计算机工程,2010,36(20)：281-285.
[50]杨冰,康来,吴玲达.多分辨率GIS矢量数据模型构建与三维显示方法研究[J].计算机工程与科学,2008,30(9)：37-40.
[51]杨枝灵,王开等.VisualC++数字图像获取处理及实践应用[M].北京：人民邮电出版社,2003.
[52]余粉,王光霞,万刚.大数据量遥感影像的快速调度与显示[J].海洋测绘, 2006,26(2)：27-30.
[53]张涵斐,黄忠红,孟永军.海量遥感影像的存储与快速调度显示方法[J].测绘与空间地理信息,2011,34(3)：36-43.
[54]张慧杰,孙吉贵,刘雪洁,李泽海.大规模三维地形可视化算法研究进展[J].计算机科学,2007,34(3)：10-16.
[55]张金涛,蔡继红,高立娥等.大战场环境三维模型管理平台的应用开发[J].系统仿真学报,2005,17(2)：392-395.
[56]张俊霞.三维地形可视化及其实时显示方法概论[J].电脑与信息技术,2001(3)：33-36.
[57]张建廷,刘福太,艾祖亮.地形可视化中的改进Geoclipmap算法[J].计算机应用,2010,30(12)：3292-3294.
[58]张舒,褚艳利.GPU高性能运算之CUDA[M].北京：水利水电出版社,2009.
[59]章孝灿,黄智才,陈刚.海量遥感图像快速显示技术[J].中国图像图形学报,2002(10)：1021-1026.
[60]张艳玲,刘杜雄,曹东等.数学形态学的基本算法及在图像预处理中应用[J].科学技术与工程.2007,7(3)：356-358.
[61]章毓晋.中国图像工程：2008[J].中国图象图形学报A,2009,14(5)：809-816
[62]章毓晋.图像工程上册-图像处理和分析[M].北京：清华大学出版社,2001年5月.
[63]张永生,龚丹超.高分辨率遥感卫星应用——成像模型,处理算法及应用技术[M].北京：科学出版社,2004.
[64]张祖勋,张剑清,吴晓良.跨接法概念之扩展及整体影象匹配[J].武汉测绘科技大学学报,1991,16(3)：1-11.
[65]钟登华,宋洋,宋彦刚等.大型水利水电工程建筑物三维可视化建模技术研究[J].水利水电技术,2003(2)：62-65.
[66]朱庆.对3维GIS技术进展的思考[J].地理信息世界,2004,6：6-7.
[67]朱英浩,张祖勋.顾及地形的城市三维可视方法研究[J].武汉测绘科技大学学报,1998,23(3)：199-203.
[68]David B. Kirk, Wen-mei W. Hwu著,陈曙晖,熊淑华译.大规模并行处理器编程实战[M].北京：清华大学出版社,2010.
[69]Dave Shreiner, Mason Woo, Jackie Neider, Tom Davis著,邓郑祥译.OpenGL编程指南(第四版)[M].北京：人民邮电出版社,2005.
[70]Donald Hearn, M. Pauline Baker著,蔡士杰,吴春镕,孙正兴等译.计算 机图形学(第二版)[M].北京：电子工业出版社,2002.
|71]Hotball深入浅出谈CUDA [OL]. [2008-06-04]. http://www. kimicat. com/cuda 简介.
[72]Jason Sanders, Edward Kandrot等著.CUDA范例精解——通用GPU编程(影印版)[M].北京：清华大学出版社,2010.
[73]John R.Jensen著,陈晓玲,龚威,李平湘等译.遥感数字影像处理导论[M].机械工业出版社,2007.
[74]Kenneth. R. Castleman.朱志刚,石定机等译.数字图像处理[M].北京：机械工业出版社,2001,5.
[75]Philip J. Schneider David H. Eberly著,周长发译.计算机图形学几何工具算法详解[M].电子工业出版社,2005.
[76]Randi J. Rost著,天宏工作室 译.OpenGL着色语言[M].北京：人民邮电出版社,2006.
[77]Aaron E. Lefohn, Joe M. Kniss, Charles D. Hansen, Ross T. Whitaker. Interactive Deformation and Visualization of Level Set Surfaces Using Graphics Hardware [C]. IEEE Visualization Proceedings of the 14th IEEE Visualization,2003.
[78]Ackermann F. High Precision Digital Image Correlation [A]. Proceedings 39th Photogrammetric Week [C], University of Stuttgart, German,1983:231-243.
[79]Adams R, Bischof L. Seeded region growing[J]. IEEE Trans. Pattern Anal. Machine Intel,1994,16(6):641-647.
[80]Aline Deruyver, Yann Hode, Luc Brun. Image interpretation with a conceptual graph:Labeling over-segmented images and detection of unexpected objects[J], Artificial Intelligence,2009b, (173):1245-1265.
[81]Anthony J. Maeder. Lossy Compression Effects on Digital Image Matching [A]. In:Proceedings of Fourteenth International Conference on Pattern Recognition [C], Brisbane, Australia,1998:1626-1629.
[82]B. H. McCormick, T. A. DeFanti, and M. D. Brown, eds. Visualization in Scientific Computing[J]. Computer Graphics,1987,21(6).
[83]Banghaln J A, Marshall S. Image and signal processing with mathematical morphology[J]. Electronics&Communlcation Engineering Journal.1998, 3(2):156-158.
[84]Bosworth JH, Acton ST. Morphological scale-space in image processing[J]. Digital Signal Processing.2003,13:338-36.
[85]Braga-Neto U. Connectivity in Image Processing and Analysis theory, Multi-scale Extensions and Applications[D]. Doctor's degree Paper Maryland:JonnsHoPkins University.2002:25-37.
[86]Feiner S. K., Beshcrs C. Worlds within Worlds:Metaphors for Exploringn-Dimensional Virtual Worlds[C]. Proceedings of UIST'90, ACM Symposium on User Interface Software and Technology:76-83.
[87]G. Robertson, S. K. Card and J. D. Mackinlay. The Cognitive Co-processor for Interactive User Interfaces[C]. Proceedings of the ACM SIGGRAPH symposium on User interface software and technology,1989:10-18.
[88]Greg Coombe, Mark J. Harris, Anselmo Lastra. Radiosity on graphics hardware [C]. ACM International Conference Proceeding Series,2004:161-168.
[89]Jianbin Fang, Ana Lucia Varbanescu, Henk Sips. A Comprehensive Performance Comparison of CUDA and OpenCL[C]. International Conference on Parallel Processing,2011:216-225.
[90]Michael A. Efficient Algorithms for the Soft Morphological Operators[J]. IEEE Transaction on Pattern Analysis and Machine Intelligence,1996:18(11): 142-1147.
[91]Moreland K., Angel E.. The FFT on a GPU [C]. In proceedings of Graphics Hardware. San Diego,2003:112-119.
[92]Molet T, Boulic R, Thalmann D. A real-time anatomical converter for human motion capture[C]. In Euro graphics Workshop on Computer Animation and Simulation,1996:79-94.
[93]Naga K. Govindaraju, Nikunj Raghuvanshi, Dinesh Manocha. Fast and approximate stream mining of quantiles and frequencies using graphics processor[C]. Proceedings of the 2005 ACM SIGMOD international conference on Management of data. Baltimore, Maryland,2005:611-622.
[94]Nahum D. Gershon, Stephen G. Eick., Information Visualization[J]. IEEE Computer Graphics and Applications,1997(7-8):29-31.
[95]Nathan A. Carr, Jesse D. Hall, John C. Hart. The ray engine[C]. SIGGRAPH/EUROGRAPHICS Conference On Graphics Hardware, Saarbrucken, Germany,2002:37-46.
[96]Norman I Badler. Virtual humans for animation, ergonomics, and simulation [J]. Nonrigid and Articulated Motion Workshop,1997:28-36.
[97]NVIDIA. CUDA C Programming Guide 3.2[OL]. http://developer.download.nvidia.com/compute/cuda/3_2 prod/toolkit/does/CU DA_C_Programming Guide.pdf,2010-10-22.
[98]NVIDIA. CUDAC Best Practices Guide 3.2[OL]. http://developer.download.nvidia.com/compute/cuda/3_2_prod/toolkit/does/CU DA_C_Best Practices_Guide.pdf,2010-8-20.
[99]Rui X P, Zhang Y M. Overlaying vector data on 3D terrain [C]. Proceedings of IEEE International Geoscience and Remote Sensing Symposium, Anchorage,2004:4560-4563.
[100]S. Guha, S. Krisnan, S. Venkatasubramanian. Data visualization and mining using the GPU[C]. Tutorial at 11th ACM International Conference on Knowledge Discovery and Data Mining,2005.
[101]Scott N Steketee, Norman I Badler. Parametric keyframe interpolation incorporating kinetic adjustment and phrasing control[C]. In Proceeding of SIGGRAPH'85,1985:255-262.
[102]Serra J. Introduction to mathematical Morphology[J]. Comput Vision Graphics Image Process,1986,35(3):283-305.
[103]Tang Jian. A Data Process Chain of Grid DEM and Image for Real Terrain Simulation[C]. International Conference on Earth Observation Data Processing and Analysis, Wuhan, China,2008.
[104]T. Vincenty. Direct and Inverse Solutions of Geodesies on the Ellipsoid with Application of Nested Equations[J]. SURVEY REVIEW,1975, 4(176):88-93.
[105]Wei Cao, Fuzhou Duan, Huili Gong, Wenji Zhao. An Implicit and GPU Based Approach for Solving Cracks in Terrain Visualization[C]. International Geoscience and Remote Sensing Symposium (IGARSS), Hawaii, USA,2010: 4003-4006.
[106]Zhiyi Yang, Yating Zhu, Yong Pu. Parallel Image Processing Based on CUDA[C]. International Conference on Computer Science and Software Engineering,2008:198-201.