真三维地理信息系统中海量数据处理技术的应用研究
|
摘要
随着“数字地球”概念的提出和不断推广，“地理信息数字化”已成为计算机在传统学科领域的一项重要应用。但是，传统地理信息系统的数据通常被组织在二维平面中。为了更接近实际地重构和描绘地理数据，地理信息系统从二维向三维方向发展已经成为不可逆转的趋势。
与此同时，三维可视化作为科学可视化技术的一支，以其形象直观和易于理解的特点来表现各类庞杂纷繁的数据，因而受到人们普遍的欢迎。它与地理信息系统的结合形成了所谓的“真三维地理信息系统”。
GIS数据往往包含大量信息，一般都会达到几百兆甚至几个京的大小，因此被称为“海量数据”。另外，GIS数据本身的复杂性也很突出。同时，在某些对建模要求较高的应用领域，对三维地理信息系统提出了较高的实时性和交互性要求。
鉴于三维地理信息系统及GIS数据的上述特点，以目前计算机的硬件水平，还无法将所有数据一次性载入内存。由此，在现有条件下，根据实际需要，如何适时地对GIS数据进行有效地简化，便成为一个急需解决的关键问题。
另外，以往的地理信息系统多基于单机环境实现，与之相应的显示优化技术也是基于单机的。但GIS数据的特性，使得在现有技术条件下的单机系统的性能无法很好的满足应用需求，因此，考虑如何在分布环境下，通过多台计算机协同处理，共同完成GIS数据的复杂运算和调度处理，以减轻单机环境系统资源紧张，CPU满负荷运转的瓶颈问题，也是一项很有现实意义的研究内容。
针对上述两个方面，笔者在论文中作了初步的有益的尝试和探讨，并取得了一定的成绩。在GIS数据简化方面，本文通过采用一种基于四叉树结构的动态层次细节技术，根据视觉特点和场景本身的复杂度，对地形模型进行了简化，并对算法做了大量优化，从而一定程度的缓解了内存资源紧张的问题，并提高了显示速度。
在分布环境数据调度方面，本文借鉴了现有分布式体系架构，并结合了三维地理信息系统自身的特点，定义了一个系统逻辑模型。并在此基础上，采用分块策略，结合预先处理的流水线作业模式，给出了一个数据调度策略，从而保证了地形计算与绘制的并行进行。
With the spreading of the concept of "Digital Earth", the geography information digitalization has become an important application in the field of traditional science, such as geography, which computer technology is used. To describe the data set more intuitional and practical, the trend of GIS from 2D to 3D is undoubted. And it is a hotspot nowadays.
Meanwhile, 3D visualization is popular because of its live presentation and easy-to-understand. How to integrate 3D visualization technology into the legacy geography system? It is a significant theme.
Generally speaking, there will be a very large quantity of data in normal geography system especially spatial data as well as image data. In addition, most of GIS data are complicated especially in some certain of professional applications.
On the other hand, we can't load the whole data set into the memory because of the present hardware limit. To resolve the bottleneck, we should concern about how to schedule data effectively, how to simplify data according to the current viewpoint and environment context, how to render the scene rapidly by rendering algorithm, such as Level of Detail.
At the same time, most of GIS applications are based on stand-alone system. The corresponding optimized algorithms are also stand-alone based. But with the complexity and the great capacity of GIS data, as well as the real time and interactive feature of geography system, the performance of stand-alone system is not meet the application requirements very well. To resolve the problem, a reasonable solution is to transplant the system to a distributed parallel environment.
In this paper, we mainly focused on Level of Detail algorithm and distributed data schedule that is mentioned above.
与此同时，三维可视化作为科学可视化技术的一支，以其形象直观和易于理解的特点来表现各类庞杂纷繁的数据，因而受到人们普遍的欢迎。它与地理信息系统的结合形成了所谓的“真三维地理信息系统”。
GIS数据往往包含大量信息，一般都会达到几百兆甚至几个京的大小，因此被称为“海量数据”。另外，GIS数据本身的复杂性也很突出。同时，在某些对建模要求较高的应用领域，对三维地理信息系统提出了较高的实时性和交互性要求。
鉴于三维地理信息系统及GIS数据的上述特点，以目前计算机的硬件水平，还无法将所有数据一次性载入内存。由此，在现有条件下，根据实际需要，如何适时地对GIS数据进行有效地简化，便成为一个急需解决的关键问题。
另外，以往的地理信息系统多基于单机环境实现，与之相应的显示优化技术也是基于单机的。但GIS数据的特性，使得在现有技术条件下的单机系统的性能无法很好的满足应用需求，因此，考虑如何在分布环境下，通过多台计算机协同处理，共同完成GIS数据的复杂运算和调度处理，以减轻单机环境系统资源紧张，CPU满负荷运转的瓶颈问题，也是一项很有现实意义的研究内容。
针对上述两个方面，笔者在论文中作了初步的有益的尝试和探讨，并取得了一定的成绩。在GIS数据简化方面，本文通过采用一种基于四叉树结构的动态层次细节技术，根据视觉特点和场景本身的复杂度，对地形模型进行了简化，并对算法做了大量优化，从而一定程度的缓解了内存资源紧张的问题，并提高了显示速度。
在分布环境数据调度方面，本文借鉴了现有分布式体系架构，并结合了三维地理信息系统自身的特点，定义了一个系统逻辑模型。并在此基础上，采用分块策略，结合预先处理的流水线作业模式，给出了一个数据调度策略，从而保证了地形计算与绘制的并行进行。
With the spreading of the concept of "Digital Earth", the geography information digitalization has become an important application in the field of traditional science, such as geography, which computer technology is used. To describe the data set more intuitional and practical, the trend of GIS from 2D to 3D is undoubted. And it is a hotspot nowadays.
Meanwhile, 3D visualization is popular because of its live presentation and easy-to-understand. How to integrate 3D visualization technology into the legacy geography system? It is a significant theme.
Generally speaking, there will be a very large quantity of data in normal geography system especially spatial data as well as image data. In addition, most of GIS data are complicated especially in some certain of professional applications.
On the other hand, we can't load the whole data set into the memory because of the present hardware limit. To resolve the bottleneck, we should concern about how to schedule data effectively, how to simplify data according to the current viewpoint and environment context, how to render the scene rapidly by rendering algorithm, such as Level of Detail.
At the same time, most of GIS applications are based on stand-alone system. The corresponding optimized algorithms are also stand-alone based. But with the complexity and the great capacity of GIS data, as well as the real time and interactive feature of geography system, the performance of stand-alone system is not meet the application requirements very well. To resolve the problem, a reasonable solution is to transplant the system to a distributed parallel environment.
In this paper, we mainly focused on Level of Detail algorithm and distributed data schedule that is mentioned above.
引文
[1]P. Lindstrom, D. Koller, W. Ribarsky, L. Hodges, N. Faust, G. A. Turner, Real-time continuous level of detail rendering of height fields. In Proceedings SIGGRAPH'96, pages 109-118. ACM SIGGRAPH, 1996.
[2]M. Duchaineau, M. Wolinsky, D. E. Sigeti, M. C. Miller, C. Aldrich, and M. 13. Mineev-Weinstein. ROAMing terrain:Real-time optimally adapting meshes, In Proceedings of IEEE Visualization 97, pages 81-88, 1997.
[3]Christopher DeCoro, Renato Pajarola, XFastMesh: fast view-dependent meshing from external memory, In Proceedings IEEE Visualization 2002, pages 363-370. IEEE Computer Society Press, 2002.
[4]Renato Pajarola, FastMesh: efficient view-dependent meshing, In Proceedings Pacific Graphics 2001, pages 22-30. IEEE Computer Society Press, 2001.
[5]Zhao Youbing, Zhou Ji, Shi Jiaoying, Pan Zhigeng, A fast algorithm for large scale terrain walkthrough, CAD/Graphics'2001, International Academic Publishers.
[6]H. Hoppe, Smooth view-dependent level-of-detail control and its application to terrain rendering, In Proceedings IEEE Visualization 98, pages 35-42. Computer Society Press, 1998.
[7]Renato Pajarola, Marc Antonijuan, Roberto Lario, QuadTin: QuadTree based triangulated irregular networks, In Proceedings IEEE Visualization 2002, pages 395-402. IEEE Computer Society Press, 2002.
[8]许云杰，胡事民，基于层次细节模型的遮挡裁减算法，中国图像图形学报，2002(9)，962-967．
[9]王源，刘建永，江南，愈高宇，视点相关实时LoD地形模型动态构网算法，测绘学报，2003(2)，47-52．
[10]陈刚，夏青，万刚，地形RSG模型的动态构网算法，测绘学报，2002(2)，44-48．
[11]张昆，边馥苓，用于虚拟现实的分区漫游，测绘信息与工程，2002，27(6)，16-17．
[12]赵友兵等，视点相关的地形LOD模型的动态生成算法，全国第十届CAD与CG学术会议
论文集[C]．广西桂林，1998，10：B99-B103．
[13]孙红梅，唐卫清，刘慎权，一种支持实时地景仿真的数据调度策略，系统仿真学报，2000．9(5)，540-543．
[14]李春阳，郭永明，虚拟现实技术在城市规划与设计领域的实践，测绘科学，2002(3)，38-40．
[15]万刚，陈刚，游雄，虚拟城市中地物几何建模技术的研究，测绘学报，2002，31(1)，60-65．
[16]谭兵，蒋定华，地形三维可视化技术的发展和应用，解放军测绘研究所学报，22(4)，25-30．
[17]陶闯，王全科，基于地学信息服务的Internet 3维GIS：GeoEye 3D，测绘学报，2002(2)，17-21．
[18]朱庆，李霞飞，张叶挺，基于Web的CCGIS浏览器插件的设计与实现，测绘学报，2002(2)，22-27．
[19]沈大勇，毛善君，李睿，马蔼乃，地质体三维模型实验研究，计算机工程，2001，27(3)．
[20]宁书年，李育芳，刘泰峰，孙家枢，三维地质体可视化软什理论探讨，煤炭工程，2002(7)，41-43．
[21]张海朵，许友志，基于TIN不连续地质体的三维构模及动态显示，中国矿业大学学报，2002(3)，142-145．
[22]徐华，武强，基于层状结构的三维地质体可视化设计与实现，现代地质，1997(2)，217-220．
[23]刘劲松，许云，乌达巴拉，用于油藏描述的三维地质体剖分及体积计算方法，计算机应用，2001(12)，59-60．
[24]潘李亮，基于LOD的大规模真实感室外场景实时渲染技术的初步研究，http://www.gameres.com/Articles/Program/Visual/3D/largeLOD.pdf.
[25]Thatcher Ulrich, Continuous LOD terrain meshing using adaptive quadtrees,http://www.gamasutra.com/features/20000228.
[26]Bryan Turner, Real-time dynamic level of detail terrain rendering with ROAM,http://www.gamasutra.com/features/20000403.
[27] S. R ttger, W. Heidrich, P. Slusallek, Hans-Peter Seidel, Real-time generation of continuous levels of detail for height fields,http://www.chinagamedev.net/cgd/develop/3D/200008/Terrain.pdf.
[28] Xiaohong Bao, Renato Pajarola, LOD-based Clustering Techniques for Optimizing Large-scale Terrain Storage and Visualization, Proc. SPIE Conference on Visualization and Data Analysis, 2003.
[29] Jonathan Ferraris, Quadtrees, http://www.gamedev.net/reference/articles/article1303.asp.
[30] MS Application Center 2K组件负载平衡技术概述，http://www.cn-lan.com.
[31] 马维达，ACE自适配通信环境中文技术文档，http://www.flyingdonkey.com/ace.
[32] 高武俊，城市信息的三维可视化研究，中国测绘科学研究院，硕士学位论文，2002．
[33] 肖金城，城市三维景观虚拟现实技术研究，中国测绘科学研究院，硕士学位论文，2002
[34] 张超，陈丙咸，邬伦，《地理信息系统》，高等教育出版社，1995．10．
[35] 李颖，薛海斌，朱伯立，朱仆立，《OpenGL函数与范例解析手册》，国防工业出版社，2002．1．
[36] 乔林，费广正等，《OpenGL程序设计》，清华大学出版社，2000．4．
[37] 翟林，郭庆，杨磊，袁波等，《如何使用OpenGL开发程序》，北京理工大学出版社，1999．1．
[38] 朱亚平，白建军，边晓东，王爱民等，《OpenGL编成实例》，人民邮电出版社，1999．10．
[39] 潘爱民，《COM原理与应用》，清华大学出版社，1999．12．
[40] Richard C．Leinecker，《COM+技术大全》，机械工业出版社，2001．8．
[41] 黄铠，徐志伟，《可扩展并行计算技术、结构与编程》，机械工业出版社，2000．5．
[42] http://www.opengl.org/.
[43] http://www.gamasutra.com/.
[44] http://www.nehe.gamedev.net/.
[45] http://www.gameres.com/.
[46] http://www.gamedev.net/.
[47] http://www.chinagamedev.net/.
[48] http://www.riverace.com/.
[49] http ://www.zeroc.com/.
[50] http://www.huihoo.com/.
[51] http://www.geog.psu.edu/
[2]M. Duchaineau, M. Wolinsky, D. E. Sigeti, M. C. Miller, C. Aldrich, and M. 13. Mineev-Weinstein. ROAMing terrain:Real-time optimally adapting meshes, In Proceedings of IEEE Visualization 97, pages 81-88, 1997.
[3]Christopher DeCoro, Renato Pajarola, XFastMesh: fast view-dependent meshing from external memory, In Proceedings IEEE Visualization 2002, pages 363-370. IEEE Computer Society Press, 2002.
[4]Renato Pajarola, FastMesh: efficient view-dependent meshing, In Proceedings Pacific Graphics 2001, pages 22-30. IEEE Computer Society Press, 2001.
[5]Zhao Youbing, Zhou Ji, Shi Jiaoying, Pan Zhigeng, A fast algorithm for large scale terrain walkthrough, CAD/Graphics'2001, International Academic Publishers.
[6]H. Hoppe, Smooth view-dependent level-of-detail control and its application to terrain rendering, In Proceedings IEEE Visualization 98, pages 35-42. Computer Society Press, 1998.
[7]Renato Pajarola, Marc Antonijuan, Roberto Lario, QuadTin: QuadTree based triangulated irregular networks, In Proceedings IEEE Visualization 2002, pages 395-402. IEEE Computer Society Press, 2002.
[8]许云杰，胡事民，基于层次细节模型的遮挡裁减算法，中国图像图形学报，2002(9)，962-967．
[9]王源，刘建永，江南，愈高宇，视点相关实时LoD地形模型动态构网算法，测绘学报，2003(2)，47-52．
[10]陈刚，夏青，万刚，地形RSG模型的动态构网算法，测绘学报，2002(2)，44-48．
[11]张昆，边馥苓，用于虚拟现实的分区漫游，测绘信息与工程，2002，27(6)，16-17．
[12]赵友兵等，视点相关的地形LOD模型的动态生成算法，全国第十届CAD与CG学术会议
论文集[C]．广西桂林，1998，10：B99-B103．
[13]孙红梅，唐卫清，刘慎权，一种支持实时地景仿真的数据调度策略，系统仿真学报，2000．9(5)，540-543．
[14]李春阳，郭永明，虚拟现实技术在城市规划与设计领域的实践，测绘科学，2002(3)，38-40．
[15]万刚，陈刚，游雄，虚拟城市中地物几何建模技术的研究，测绘学报，2002，31(1)，60-65．
[16]谭兵，蒋定华，地形三维可视化技术的发展和应用，解放军测绘研究所学报，22(4)，25-30．
[17]陶闯，王全科，基于地学信息服务的Internet 3维GIS：GeoEye 3D，测绘学报，2002(2)，17-21．
[18]朱庆，李霞飞，张叶挺，基于Web的CCGIS浏览器插件的设计与实现，测绘学报，2002(2)，22-27．
[19]沈大勇，毛善君，李睿，马蔼乃，地质体三维模型实验研究，计算机工程，2001，27(3)．
[20]宁书年，李育芳，刘泰峰，孙家枢，三维地质体可视化软什理论探讨，煤炭工程，2002(7)，41-43．
[21]张海朵，许友志，基于TIN不连续地质体的三维构模及动态显示，中国矿业大学学报，2002(3)，142-145．
[22]徐华，武强，基于层状结构的三维地质体可视化设计与实现，现代地质，1997(2)，217-220．
[23]刘劲松，许云，乌达巴拉，用于油藏描述的三维地质体剖分及体积计算方法，计算机应用，2001(12)，59-60．
[24]潘李亮，基于LOD的大规模真实感室外场景实时渲染技术的初步研究，http://www.gameres.com/Articles/Program/Visual/3D/largeLOD.pdf.
[25]Thatcher Ulrich, Continuous LOD terrain meshing using adaptive quadtrees,http://www.gamasutra.com/features/20000228.
[26]Bryan Turner, Real-time dynamic level of detail terrain rendering with ROAM,http://www.gamasutra.com/features/20000403.
[27] S. R ttger, W. Heidrich, P. Slusallek, Hans-Peter Seidel, Real-time generation of continuous levels of detail for height fields,http://www.chinagamedev.net/cgd/develop/3D/200008/Terrain.pdf.
[28] Xiaohong Bao, Renato Pajarola, LOD-based Clustering Techniques for Optimizing Large-scale Terrain Storage and Visualization, Proc. SPIE Conference on Visualization and Data Analysis, 2003.
[29] Jonathan Ferraris, Quadtrees, http://www.gamedev.net/reference/articles/article1303.asp.
[30] MS Application Center 2K组件负载平衡技术概述，http://www.cn-lan.com.
[31] 马维达，ACE自适配通信环境中文技术文档，http://www.flyingdonkey.com/ace.
[32] 高武俊，城市信息的三维可视化研究，中国测绘科学研究院，硕士学位论文，2002．
[33] 肖金城，城市三维景观虚拟现实技术研究，中国测绘科学研究院，硕士学位论文，2002
[34] 张超，陈丙咸，邬伦，《地理信息系统》，高等教育出版社，1995．10．
[35] 李颖，薛海斌，朱伯立，朱仆立，《OpenGL函数与范例解析手册》，国防工业出版社，2002．1．
[36] 乔林，费广正等，《OpenGL程序设计》，清华大学出版社，2000．4．
[37] 翟林，郭庆，杨磊，袁波等，《如何使用OpenGL开发程序》，北京理工大学出版社，1999．1．
[38] 朱亚平，白建军，边晓东，王爱民等，《OpenGL编成实例》，人民邮电出版社，1999．10．
[39] 潘爱民，《COM原理与应用》，清华大学出版社，1999．12．
[40] Richard C．Leinecker，《COM+技术大全》，机械工业出版社，2001．8．
[41] 黄铠，徐志伟，《可扩展并行计算技术、结构与编程》，机械工业出版社，2000．5．
[42] http://www.opengl.org/.
[43] http://www.gamasutra.com/.
[44] http://www.nehe.gamedev.net/.
[45] http://www.gameres.com/.
[46] http://www.gamedev.net/.
[47] http://www.chinagamedev.net/.
[48] http://www.riverace.com/.
[49] http ://www.zeroc.com/.
[50] http://www.huihoo.com/.
[51] http://www.geog.psu.edu/