用户名: 密码: 验证码:
对等网络环境下三维GIS优化策略研究
详细信息    本馆镜像全文|  推荐本文 |  |   获取CNKI官网全文
摘要
目前热门的“数字地球”实现了从二维到三维的跨越,使得三维虚拟地球已经成为一个应用广泛的地理信息公共服务平台。由于目前GIS的发展具有海量数据特征,并且其数据规模还在急剧增加,而客户端受到存储性能限制,大规模场景数据的需求与用户可用的存储空间的矛盾日益严重。在网络环境中,客户端节点与服务器节点之间的连接速度往往受到网络传输和服务器性能制约,同时存在客户端资源的浪费,因此在三维GIS数据场景显示的整个过程中数据传输消耗时间最长。
     对等网络(Peer to Peer,P2P)虽然不是一项新兴的技术,但是不同于传统集中式模式,是全新的基于对等网络的架构,非常巧妙的将网络中互不直接相连的客户端节点联系在一起,充分利用客户端节点和局部网络传输的闲置资源,将集中式的由服务器到客户端的传输模式转变成为了无等级差别的分布式传输模式。三维GIS可以利用对等网技术显著提升数据传输速度从而提升三维引擎性能。但使用对等网技术依然存在问题,具体表现在采用对等网文件共享的数据组织模型并不适应于三维GIS;离散的数据调度策略导致三维GIS数据加载顺序的随机性,从而影响三维GIS渲染效率和用户体验;GIS缓存更新策略单一未能考虑到对等网共享。本文结合对等网技术实现对三维GIS的优化,针对性的开展对等网环境下的三维GIS数据组织、传输和调度研究,给出系统、完整的研究成果,从而完善和丰富了将对等网技术应用于三维GIS的优化研究。
     论文主要研究内容如下:
     1.分析基于对等网技术的三维GIS优化技术的必要性、可行性以及理论依据,并对其相关概念进行阐述;
     2.根据对等网络中数据传输特点,研究空间数据组织方法,在数据分层组织方面提出参考等级评价机制,在数据分块方面分析组织考虑各种数据类型特点,研究适应对等网传播的分块方式,提出参考数据量的非均匀四叉树网格划分法。
     3.分析传统三维GIS数据的发布模式,参考典型对等网GIS的组织结构,研究应用于三维GIS的对等网架构的不足,提出优化策略:采用了基于WEB服务的对等网连接方式;采用混合模式的对等网络架构,采用基于位置和内容的节点双向聚类方法分组;对对等网功能采用插件模式设计,提出了基于对等网和KML的地理空间信息服务模型,实现基于对等网技术的简易升级方法。
     4.参考传统均匀网格数据调度方法,提出非均匀网格快速查询方法。在对等网数据下载过程中强调按重要程度实行分层分块传输,采用下载动态协调策略。采用主动缓存优化技术和对等网节点连接缓存技术预读视点周围场景数据,减少场景漫游的数据等待时间:提出基于热点的主动缓存,增加对等网络中数据备份量;研究三维GIS缓存更新策略,提高对等网整体数据共享效果。
     5.针对在传统集中式三维地理空间信息服务项目的开发过程中遇到的实际问题,以三维可视化规划管理系统为实例,提出了基于对等网技术的实验性的改进,通过实验对比集中式与对等网式架构的性能差异,指出基于对等网技术三维GIS优化策略可行并且用效。并研究非均匀网格数据划分效果,采用仿真实验验证节点分组效果和主动缓存效果。
Currently the "Digital Earth" as a hot issue creates the great improvement from2D vision to3D, and is making the3D vitural earth to be a widely used geospatial information services platform. But the problems between the higher data demond for the large scale scene and the limited store space of the customers, are however becoming more and more serious, while the data size of GIS is growing up. The speed of data transmission from server to customer is limited by many reasons, such as bad network performance and server errors, while the abilities of the peers are not fully pursued. Thus the loading time plays most important role for the scene creation in3D GIS.
     Peer to peer computing technology is not a new method, but totally different from the C/S mode. It smartly makes the separated peers connected as a whole class and takes fully advantage of the idle resources in the networks, which makes the traditional C/S mode into a equal network, i.e. each peer not only provideds services to others as a server, but also gets benefit from other peers.3D GIS is using the P2P architecture to updata data transmission and the performance of3D. But P2P technology has its problems in many ways, such as unmatched data organization is not suitable for the3D GIS, discreted data transmission disorders the data loading and the GIS data cache strategies is not suitable for the p2p netwok. This paper focus on the topic of optimization strategies for P2P oriented3D GIS, studies the data organization, transmission and schedule. The study presents a more systematic and completed research result, and thus to improve and enrich the geospatial theory and technology about the combination of P2P and3D GIS.
     The main content this thesis studies is as follows:
     1. This paper talks about the necessity, feasibility and basic theory to studying P2P based3D GIS optimization and discusses the related concepts.
     2. Focusing on the characteristic of P2P and3D GIS data, this paper gives the data size based skewed quadtree method to divide the data. Studying the organization, it gives the mehod of chargement for the different data layering, analsises the special characteristic to deblock different type of3D GIS data to fit the requirement of P2P.
     3. This paper analyses the data distribution of3D GIS, compares the classic network architecture in P2PGIS, and gives optimization strategies to fix the shortcoming: using webservice based method to communicate with other peers,using mixed mode in hierarchical p2p networks, designing P2P plugin to fit the different usage and giving P2P and KML based geospatial information serive model.
     4. This paper consults data schedule of quadtree method, gives skewed quadtree query method. Then the paper mentions the the strategies of data downloading based on the important degree to arrange the schedule of different type of3D GIS data and the strategies of dynamic coordinating. The paper then takes the active cache method and P2P connection pool to shorten the waiting time and hot block based active downloading to expand the backup of data.
     5. This paper focuses on the problems of tranditional3D geospatial information services project, gives P2P based method to update the experimental architecture with en example of3D plan and management system. The test of result between C/S and P2P mode shows the advangement in P2P, then the simulation of skewed quadtree and peer group method proves the model.
引文
[1]边馥苓, 空间信息导论[M], 北京: 测绘出版社,2006.
    [2]边馥苓, 数字工程的原理与方法[M],北京: 测绘出版社,2011.
    [3]龚健雅,3维虚拟地球技术发展与应用[J],地理信息世界,2011(2):15-17.
    [4]国家测绘局旗下天地图正式上线[EB/OL]:http://tech.sina.com.cn/i/2011-01-18/20445105368.shtml.
    [5]周松涛,三维环境下栅格数据的动态调度[J],测绘信息与工程,2006(1):40-42.
    [6]江聪世,面向服务架构的GIS互操作与集成研究[D],武汉大学博士论,2007.
    [7]AR Butt, TA Johnson, Y Zheng, YC Hoard. Hoard:A peer-to-peer enhancement for the network file system [R]. Technical Report Purdue University ECE 03-08,2003.
    [8]Edward Grochowski. Emerging trends in data storage on magnetic hard disk drives[M]. Datatech, ICG Publishing, Sep 1998.
    [9]朱柳明,P4P技术简介[J],中国新通信,2008(15):79-82.
    [10]边馥苓,谭喜成,适应于分布式虚拟地理环境服务的对等网络模型研究[J],武汉大学学报:信息科学版,2007(11):1028-1033.
    [11]史文勇,李琦,徐建鸿,基于P2P模式的数字城市服务模式及平台设计[J],计算机科学,2005(12):101-103,222.
    [12]杨宗亮,基于P2P的地理空间信息服务架构及相关算法研究[D],武汉大学博士论文,2010.
    [13]喻占武,郑胜,一种混合式P2P下的大规模地形数据传输机制[J],测绘学报,2008(2):243-249.
    [14]朱军, 龚建华, 张健饮, 等.基于对等网络结构的分布式大规模实时漫游研究[J],地理与地理信息科学,2006,22(1):40-43.
    [15]天地图,百度百科(?)EB/OL], http://baike.baidu.com/view/4559007.htm.
    [16]“天地图”核心软件GeoGlobe具有我国自主知识产权[EB/OL],http://news.xinhuanct.com/video/2011-01/18/c_12995449.htm.
    [17]周松涛,海星空间数据实时调度及二三维协同显示技术研究,2006年湖北省科技进步二等奖2006J-227-2-054-038-R07.
    [18]牛瑞涛,王光霞,郭红燕,胡红兵,三维地形模型简化误差控制方法综述[J],地理空间信息,2011(3):96-98.
    [19]侯涛,三维仿真场景优化理论与算法研究[D],中国科学院研究生院(遥感应用研究所)博士论文,2006.
    [20]党舟,刘强,张文火,闫斌,扈洋,大规模3维地形管理关键技术研究[J],地理信息世界,2010(2):27-30,34.
    [21]姚远,谭喜成,王方雄,金宝轩,基于Generic组件库STL的3D GIS数据组织与调度方法[J],测绘信息与工程,2005(3):10-11.
    [22]鲁萌,刘建波,杨进,三维地形显示中数据缓存与调度算法研究[J],微计算机信息,2010(4):210-212.
    [23]李志强,韩李涛,王晓静,网格环境下城市三维空间数据传输测试分析[J],测绘信息与工程,2011(2):6-9.
    [24]马修军,刘晨,谢昆青,等,P2P环境中的全局空间数据目录研究[J],地理与地理信息科学,2006(5):22-25.
    [25]谭喜成,分布式虚拟地理环境的大规模对等网络扩展及其互操作研究[D],武汉大学博士学位论文,2007.
    [26]李春华,张玮.一种基于P2P网络的WebGIS体系结构[J],地理空间信息,2007(02):21-24.
    [27]毕方明,空间信息处理的P2P分层网络模型的研究[D],中国矿业大学博士学位论文,2010.
    [28]吴家皋,黄琳,邹志强,冯佳丽,胡斌,基于分布式拓扑的P2P矢量地理数据表示模型的研究[J],计算机应用研究,2010(6):2170-2172,2180.
    [29]胡斌,冯佳丽,王俊淑, 王永君, 吴家皋, 邹志强,面向P2P环境的分布式矢量地理数据组织模式研究[J],地球信息科学学报,2010(1):62-68.
    [30]谢富平.基于XML/Web Services的P2P文件共享系统的实现[J]电子科技,2005, (06):43-46.
    [31]陶钧,海量数据P2P分布式稳固存储方法与优化研究[D],国防科技大学博 士学位论文,2008.
    [32]张一鸣,卢锡城,郑倩冰,李东升.一种面向大规模P2P系统的快速搜索算法[J],软件学报,2008(6):1473-1480.
    [33]唐桂文,张庆娟,王功明,苏玉扬,基于三维GIS的海量地形数据存储和调度的研究[J],测绘科学,2008(3):110-112,120.
    [34]马修军,李晨煜,谢昆青,雷小锋,刘晨,陈斌,高勇,基于P2P的空间数据操作分布技术研究[J],地理与地理信息科学,2006(4):16-19.
    [35]潘少明;喻占武;王浩,基于节点分期的P2P海量地形数据共享机制[J],武汉大学学报信息科学版,2009(6):650-653.
    [36]HU SY, HUANG T H, CHANG C S, et al. FLoD:A framework for peer-to-peer 3D streaming [C] Proceedings of the 27th International Conference on Computer Communications. Phoenix, USA:IEEE Press,2008: 2047-2055.
    [37]王浩,喻占武,曾武,潘少明,基于瓦片寿命和访问热度的海量空间数据缓存置换策略[J],武汉大学学报信息科学版,2009(6):667-670.
    [38]潘少明,喻占武,李锐,基于主动缓存的P2P海量地形漫游瓦片调度算法[J],测绘学报,2009(3),236-241,249.
    [39]王伟,贾金原,张晨曦等,面向P2P网络的渐进式三维场景更新策略[J],计算机应用,2010(9):2422-2426,2430.
    [40]周攀,基于P2P技术的多维数据集存储和查询研究[D],湖南大学硕士学位论文,2010.
    [41]王传名,基于P2P技术的海量遥感数据快速处理技术研究[D],山东科技大学硕士学位论文,2010.5
    [42]Sample J T, Shaw K, Tu S, Abdelguerfi M(Eds.),2008, Geospatial Services and Applications for the Internet, Springer-Verlag.
    [43]维基百科,云计算[EB/OL]http://zh.wikipedia.org/wiki/%E9%9B%B2%E7%AB%AF%E9%81%8B%E7% AE%97.
    [44]唐桂文,张庆娟,王功明,苏玉扬,基于三维GIS的海量地形数据存储和调 度的研究[J],测绘科学,2008(3):110-112,120.
    [45]周演,陈天滋,三维虚拟漫游技术的研究[J],计算机工程设计,2009(5):1207-1211.
    [47]翟巍,三维GIS中大规模场景数据获取、组织及调度方法的研究与实现[D],大连理工大学博士学位论文,2000.
    [48]李建勋,沈冰,姜仁贵,陈男庆,而向影像金字塔的四叉树空间索引算法[J],计算机工程,2011(19):11-13.
    [49]朱雷,潘懋,李丽勤,吴焕萍,GIS中海量栅格数据的处理技术研究[J],计算机应用研究2006(01):66-68.
    [50]曹国峰,三维GIS渲染引擎的关键技术[J],地球信息科学2005(03):87-91.
    [51]马修军李晨煜谢昆青,等,基于P2P的空间数据操作分布技术研究[J],地理与地理信息科学,2006(04):16-19.
    [52]娄书荣,孟令奎,方军,夏辉宇,基于对等网络的多分辨率影像的网络传输模型[J],测绘学报,2011(05):628-634.
    [53]维基百科,阈值,http://zh.wikipedia.org/wiki/%E9%98%80%E5%80%BC
    [54]Sahin O D, Emekci F, Agrawal D, et al.Content-based similarity search over peer-to-peer systems[R]. Toronto:Proceedings of the International Workshop on Databases, Information Systems, and Peer-to-Peer Computing (held in conjuction with VLDB),2004.46-63.
    [55]TRAN D, HUA K, ZIGZAG D T. An EfficientPeer-to-peer Scheme forMedia Streaming[A]. Proceedings of the IEEE INFOCOM 2003 [C]. New York:IEEE Computer and Communications Societies,2003.1283-1293.
    [56]新浪科技新闻[EB/OL]http://tech.sina.com.cn/i/2011-09-21/08496091395.shtml.
    [57]用户体验的时间尺度[EB/OL]http://cdc.tencent.com/?p=1685
    [58]邓仕虎, 罗灵军,袁超,三维地理信息公共服务平台建设初探[J],地理空间信息,2011(05):69-71.
    [59]吴慧欣,三维GIS空间数据模型及可视化技术研究[D],西北工业大学博士 学位论文,2007.
    [60]吴立新,史文中.地理信息系统原理与算法[M],北京:科学出版社.
    [61]杨建宇,杨崇俊,明冬萍,任应超,李津平,WEBGIS系统中矢量数据的压缩与化简方法综述[J],计算机工程与应用,2004(32):36-38,92.
    [62]百度百科 三维模型http://baike.baidu.com/view/3169335.htm.
    [63]王冬;王晓华;三维GIS中海量模型调度与存储[J],地理空间信息,2012(01):121-123.
    [64]百度百科,哈希算法[EB/OL]http://baike.baidu.com/view/273836.htm.
    [65]维基百科MD5[EB/OL], http://zh.wikipedia.org/wiki/MD5.
    [66]维基百科,SHA[EB/OL], http://zh.wikipedia.org/wiki/SHA-1.
    [67]胡诚,边馥苓,基于P2P和KML地理空间信息服务研究[J],地理空间信息,2012.04(02):1-3.
    [68]维基百科,数字水印[EB/OL]http://zh.wikipedia.org/wiki/%E6%95%B0%E5%AD%97%E6%B0%B4%E5%8 D%B0.
    [69]边杏宾,数字水印技术及应用研究[D],电子科技大学博士论文,2008.
    [70]夏旭日,P2P协同工作环境下基于数字水印的验证技术研究[D],中南大学,硕士学位论文,2007.
    [71]孟小亮,分布式环境下的空间信息服务链组合研究[D],武汉大学博士论文,2009.
    [72]百度百科,可扩展标记语言[EB/OL], http://baike.baidu.com/view/63.htm
    [73]OGC,2007 Geography Markup Language (GML) Encoding Specification, Version 3.2.1[EB/OL],http://www.opengeospatial.org/standards/gml.
    [74]黄慧, 基于本体的多尺度空间数据模型及其一致性研究[D],武汉大学博士学位论文,2008.
    [75]王志红,张亦汉,任金铜,KML标记语言规范及其与GML的交换研究[J],测绘标准化,2010(01)10-13.
    [76]陈俊,对等视频点播数据分发关键技术研究[D],华中科技大学博士论,2011.
    [77]凌波,陆志国,黄维雄,等PeerIS:基于Peer-to-Peer的信息检索系统[J], 软件学报,2004,15(9):1375-1384.
    [78]吴信才,新一代MAPGIS数字城市技术应用与发展2006,第二届中国国际数字城市建设技术研讨会.
    [79]翟丽芳,P2P网络Peer访问Webservice的研究和实现[D],华东师范大学硕士论文,2004.
    [80]陈氓,分布式空间数据库主动数据更新研究[D],武汉大学博士学位论文,2004.
    [81]严商,基于WCF的分布式程序的研究与实现[D], 武汉理工大学硕士毕业论文,2008.
    [82]杨磊,黄浩,李仁发,李肯立,一种基于分组管理的混合式P2P存储系统[J],计算机科学,2010(01):64-67.
    [83]郭良敏,杨寿保,郭磊涛等,P2P网络中基于区域划分的超级节点选取机制[J], 小型微型计算机系统,2008(02):208-212.
    [84]吴海珍,陈沅涛,基于超级节点的P2P信任模型[J],计算机工程,2009(11):95-97,100.
    [85]孙伟,马照亭,张成成等.一种基于MapServer的KML地理信息网络服务实现方法[J],测绘通报,2009,(12):53-56.
    [86]CH/T 9003-2009地理空间框架基本规定[S].
    [87]CH/T 9004-2009地理信息公共平台基本规定[S].
    [88]石永阁,边馥苓,城市空间信息服务框架及应用[J],地理空间信息,2012.01(01):5-7,11.
    [89]郭良敏,杨寿保,郭磊涛等.P2P网络中基于区域划分的超级节点选取机制[J].小型微型计算机系统,2008,29(2):208-212.
    [90]Peer-to-peer wiki [DB/OL]. http://en.wikipedia.org/wiki/Peer-to-peer.
    [91]Project JXTA2.0 Super-Peer Virtual Network.[EB/OL] http://research.sun.com/spotlight/misc/jxta.pdf.
    [92]万幼,边馥苓.二三维联动的GIS系统体系结构构建技术[J],地理信息世界,2008(02):48-52,69.
    [93]周文莉,吴晓非.P2P技术综述[J],计算机工程与设计.200611,27(1):76-79.
    [94]宇林军,潘影,服务式2D_3D结合GIS的核心问题及其解决方案[J],地球信息科学学报[J],2011.02(01):58-64.
    [95]李春华,P2PGIS技术的研究与实现[D],江苏大学硕士论文,2006.05.
    [96]ESRI中国:ArcGIS 10五大飞跃[EB/OL],http://www.esrichina-bj.cn/softwareproductyArcGIS/ArcGis%2010/.
    [97]EV-Globe, http://www.ev-image.com/.
    [98]百度百科,数据组织[EB/OL],http://baike.baidu.com/view/286835.htm.
    [99]百度百科,数据传输[EB/OL],http://baike.baidu.com/view/875888.htm.
    [100]陈全,邓倩妮,云计算及其关键技术[J],计算机应用,2009(09):2562-2567.
    [101]GHEMAWAT S, GOBIOFF H, LEUNG ST. The Google file system:SOSP 2003:proceedings of the nineteenth ACM symposium on Operating systems principles, Bolton Landing, New York, USA, October 19-22,2003 [C]. New York:ACM,2003:29-43.
    [102]DEAN J, GHEMAWAT S. MapReduce:simplified data processing on large clusters|J]. Communications of the ACM,2008,51(1):107-113.
    [103]CHANG F, DEAN J, GHEMAWAT S, et al. Bigtable:A Distributed Storage System for Structured Data[J]. ACM Transactions on Computer Systems,2008,26(2):Article 4.
    [104]Butler D. Virtual globes:The web-wide world[J]. Nature,2006,439: 776-778.
    [105]BYHRS J, CONSIDINE J, MITZENMACHER M, et al.Informed Content Delivery Across Adaptive Overlay Networks[C]//Proceedings of ACM Special Interest Group on Data Communication(SIGCOMM'02). Pittsburgh:IEEE Computer Society,2002:47-60.
    [106]POPHSCU G V, CODELLA C F. An architecture for QoS data repli-cation in network virtual environments [C]//Proceedings of the 17th International Conference on Virtual Reality. Orlando, USA: IEEE Press,2002:41-48.
    [107]欧中洪,宋美娜,战晓苏,宋俊德,移动对等网络关键技术[J],软件学报,2008.02(19):404-418.
    [108]毛华庆,基于GPU优化的三维实时渲染技术的研究[D],武汉大学博士论文,2010.5.
    [106]沈静波,基于P2P和云计算的动态内容管理研究[D],中国科技大学博士论文,2011.4
    [107]侯孟书,基于P2P的分布式存储及其相关技术研究[D],电子科技大学博士论文,2005.6
    [108]The true picture of peer-to-peerfilesharing [EB/OL]. http://www.cachelogic.com.
    [109]徐恪,叶明江,胡懋智,对等网技术现状及未来发展[J],中兴通信技术,2007.12(06):06-10.
    [110]Jingsong Zhang, McLeod, R.D, Application Layer Routing Options for efficient data transport over the Internet, IEEE CCECE 2002. Canadian Conference on Electrical and Computer Engineering,2002:1472-1376
    [111]Michael Yuan. Mobile P2P messaging. http://www.ibm.com/developerworks/wireless/library/wi-p2pmsg/
    [112]S.N.Sriramal, M Jarkel, W Prinzl. Mobile Web Service Discovery in Peer to Peer Networks.http://arxiv.org/pdf/1007.3631
    [113]Guido Gehlen, Linh Pham.Mobile Web Services for Peer-to-Peer Applications. [EB/OL] http://jan.newmarch.name/conferences/ccnc05/DATA/3-A05-03.PDF
    [114]夏天泽,云计算环境中的P2P技术应用及安全性研究[D],中国科学技术大学硕士学位论文,2010.5.
    [115]Beverly Yang, B. Designing a super-peer network. Proceedings.19th International Conference on Data Engineering,2003. (ICDE'03) Page(s):49-60
    [116]Shen HY, Xu CZ, Ghen G. Cycloid:A constant-degree and lookup-efficient P2P overlay network. In:Panda DK, Duato J, Stunkel C, eds. Proc. of the 18th Int'l Parallel and Distributed Processing Symp. (IPDPS 2004).New York: IEEE Press,2004,26-30.
    [117]章文嵩,可伸缩网络服务的研究与实现[D],国防科学技术大学博士学位沦文,2000.
    [118]韩争胜,IPv6关键技术及其网络安全研究[D],西北工业大学硕士学位论文,2005
    [119]范新运,基于UPnP的家庭智能系统研究与实践[D], 西北工业大学硕士学位论文, 2005

© 2004-2018 中国地质图书馆版权所有 京ICP备05064691号 京公网安备11010802017129号

地址:北京市海淀区学院路29号 邮编:100083

电话:办公室:(+86 10)66554848;文献借阅、咨询服务、科技查新:66554700