基于XQuery的空间数据集成系统中若干关键技术的研究
|
摘要
伴随着计算机技术、特别是网络技术的飞速发展,地理信息系统的应用愈加广泛,用户所需要获取和处理的空间数据量迅速增加。但空间数据源存在异地性和异构性等特点,如何屏蔽数据源在空间和存储格式方面差异,帮助越来越多的用户获取最为及时、最为准确的地理信息,实时地进行地理数据的共享、交换以及运算功能,成为空间数据集成领域研究的主要问题之一。
在很多数据集成的模式中,Mediator-Wrapper架构近年来被认为是实现异构数据集成的理想解决方案,该方案不需要改变原始数据的存储和管理方式,它通过中间件向下协调各异构数据源系统,向上提供统一数据模型和通用的数据访问接口。该集成框架为实现跨数据源间数据的互操作运算提供了基础。
同时,开放GIS联盟(Open GIS Consortium)制定了符合地理空间数据组织特点的XML扩展集——地理标识语言(Geography Markup Language,GML), GML的出现为解决这个问题提供了基础。作为XML的空间数据编码格式,将GML作为空间数据集成的公共数据模型,使得空间数据的共享成为可能,利用GML提供的基本模型来组织空间数据,可以实现空间数据和非空间数据的无缝连接,并支持XQuery语言的综合查询。
基于上述相关的研究,本文介绍了如何在基于XQuery查询语言的空间数据集成系统中实现跨数据源查询运算的解决方案,首先通过扩展XQuery语言,使其支持对空间数据查询及运算功能;之后通过改进XQuery数据模型的内部表示,实现了GML空间数据与XML非空间数据的无缝连接,减少了空间数据格式转换的需求,从而提高了空间运算的执行效率。在基于GML和XQuery语言的空间数据集成系统中,实现了面向分布式数据源的空间运算功能。此外,由于系统采用Mediator-Wrapper的集成架构,因此设计出优化的数据源适配器(Wrapper)管理模块。根据用户的查询请求获取所涉及的数据源,实时地获取该数据源的适配器并动态的加载到引擎中,直接为上层提供服务;以更好地适应系统的需求变化,降低系统模块间耦合度,提高其可扩展性能,减少内存开销。
Nowadays with the development of computer technology, especially the network technology, the geographic information system applies to many fields. The demand of spatial data increase rapidly.
However, the spatial data source usually stores in different position and has different format. Therefore, to eliminate the difference of spatial data in storage format and position, let more and more users get the geography information faster and exacter, implement the real-time the function of data share, exchange and operation become the hot spot of research.
The Mediator-Wrapper architecture was considered as the best solution for heterogeneous data source integration in recent years, by which we don’t need to change the storage format of original data. This architecture corresponds the heterogeneous data source for lower layer and provides the uniform data model and access interface for upper layer. The Mediator-Wrapper architecture provides the foundation for implementing the mutual operation between the data source.
Open GIS consortium constitute the superset of XML—GML(Geography Markup Language), which follow the organization feature of geography data. The appearance of GML is the foundation for solving the problem. As one of XML form for spatial code, GML should be took as the common data model in spatial data integration system, which can not only implement the spatial data sharing between different data source, but also implement the seamless link between the spatial data and non-spatial data to support integrated query by XQuery.
Based on the above correlation research, this paper addresses a design proposal, which make XQuery support to the spatial data inquiry and spatial operation, by means of extending the XQuery language. Through rebuilding the representation of the XQuery data model, the seamless connection between GML spatial data and XML non-spatial data has been implemented and transformation of data format is reduced too so that efficiency is improved. In the spatial data integration based on GML and XQuery, spatial operation can be performed on spatial data from distribute data sources. Besides, we should optimize the management of data source adapter’s module, which can get the data source adapters and load into system real-time, according to the user’s query requirement, serving for the upper layer. It can better adapt the change requirement, reduce the degree of coupling, and improve the expansibility of the system.
在很多数据集成的模式中,Mediator-Wrapper架构近年来被认为是实现异构数据集成的理想解决方案,该方案不需要改变原始数据的存储和管理方式,它通过中间件向下协调各异构数据源系统,向上提供统一数据模型和通用的数据访问接口。该集成框架为实现跨数据源间数据的互操作运算提供了基础。
同时,开放GIS联盟(Open GIS Consortium)制定了符合地理空间数据组织特点的XML扩展集——地理标识语言(Geography Markup Language,GML), GML的出现为解决这个问题提供了基础。作为XML的空间数据编码格式,将GML作为空间数据集成的公共数据模型,使得空间数据的共享成为可能,利用GML提供的基本模型来组织空间数据,可以实现空间数据和非空间数据的无缝连接,并支持XQuery语言的综合查询。
基于上述相关的研究,本文介绍了如何在基于XQuery查询语言的空间数据集成系统中实现跨数据源查询运算的解决方案,首先通过扩展XQuery语言,使其支持对空间数据查询及运算功能;之后通过改进XQuery数据模型的内部表示,实现了GML空间数据与XML非空间数据的无缝连接,减少了空间数据格式转换的需求,从而提高了空间运算的执行效率。在基于GML和XQuery语言的空间数据集成系统中,实现了面向分布式数据源的空间运算功能。此外,由于系统采用Mediator-Wrapper的集成架构,因此设计出优化的数据源适配器(Wrapper)管理模块。根据用户的查询请求获取所涉及的数据源,实时地获取该数据源的适配器并动态的加载到引擎中,直接为上层提供服务;以更好地适应系统的需求变化,降低系统模块间耦合度,提高其可扩展性能,减少内存开销。
Nowadays with the development of computer technology, especially the network technology, the geographic information system applies to many fields. The demand of spatial data increase rapidly.
However, the spatial data source usually stores in different position and has different format. Therefore, to eliminate the difference of spatial data in storage format and position, let more and more users get the geography information faster and exacter, implement the real-time the function of data share, exchange and operation become the hot spot of research.
The Mediator-Wrapper architecture was considered as the best solution for heterogeneous data source integration in recent years, by which we don’t need to change the storage format of original data. This architecture corresponds the heterogeneous data source for lower layer and provides the uniform data model and access interface for upper layer. The Mediator-Wrapper architecture provides the foundation for implementing the mutual operation between the data source.
Open GIS consortium constitute the superset of XML—GML(Geography Markup Language), which follow the organization feature of geography data. The appearance of GML is the foundation for solving the problem. As one of XML form for spatial code, GML should be took as the common data model in spatial data integration system, which can not only implement the spatial data sharing between different data source, but also implement the seamless link between the spatial data and non-spatial data to support integrated query by XQuery.
Based on the above correlation research, this paper addresses a design proposal, which make XQuery support to the spatial data inquiry and spatial operation, by means of extending the XQuery language. Through rebuilding the representation of the XQuery data model, the seamless connection between GML spatial data and XML non-spatial data has been implemented and transformation of data format is reduced too so that efficiency is improved. In the spatial data integration based on GML and XQuery, spatial operation can be performed on spatial data from distribute data sources. Besides, we should optimize the management of data source adapter’s module, which can get the data source adapters and load into system real-time, according to the user’s query requirement, serving for the upper layer. It can better adapt the change requirement, reduce the degree of coupling, and improve the expansibility of the system.
引文
1 C Zhang C., Li W., Day M. J., Peng Z-R., (2003) GML-Based Interoperable Geographical Databases Cartography. Vol. 32, No. 2, 2003
2 D Chamberlin, J Robie, D Florescu, Quilt: An XML Query Language for Heterogeneous Data Source[J].WebDB2000.
3 Erich Gamma, Richard Helm, Ralph Johnson, John Vlissides. “设计模式”. 李英军, 马晓星等译. 机械工业出版社. 2000
4 ESRI,ArcSDE 8.3 Developer Help
5 G.Gardarin, A.Mensch, T.Tuyet Dang-Ngoc, L.Smit. Integrating Heterogeneous Data Sources with XML and XQuery 13th International Workshop on Database, 2002
6 H. Kemppainen. Designing a Mediator for Managing Relationships between Distributed Objects. In Proc. Interoperating Geographic Information Systems, Second International Conference, INTEROP ’99, Andrej Vckovski, Kurt E. Brassel, Hans-J?rg Schek (Eds.),Zurich, Switzerland, March 10-12, 1999
7 JTS Topology Suite Technical Specifications Version 1.4, Vivid Solutions,via the WWW as http://www.vividsolutions.com/JTS/JTSHome.htm.
8 Lúcio Rogério Botêlho, Júlia Célia Mercedes Strauch, Jano Moreira De Souza. An XML-based architecture for geo-referenced data integration. 2003
9 M. Fernandez, W.-C. Tan, D. Suciu, SilkRoute: trading between relations and XML, Computer Networks 33 (1–6) (2000) 723–745
10 Open GIS Consortium ,OpenGIS Geography Markup Language(GML) Implementation Specification, Version:3.00,Inc.2003
11 Omar Boucelma, Mehdi Messid and Zoé Lacroix. A WFS-based Mediation System for GIS Interoperability. 10th ACM International Symposium on Advances in Geographic Information Systems (GIS), McLean, Virginia, 2002
12 Oracle Spatial User’s Guide and Reference Release 8.1.7, http://otn.oracle.com/,2000
13 Song Wang, Elke A. Rundensteiner, Murali Mani, Optimization of Nested XQuery Expressions with Orderby Clauses, Department of Computer Science Worcester Polytechnic Institute Worcester, MA 01609, USA
14 W3C, An XML Query Language, W3C Working Draft 12 November 2003
15 W3C, Extensible Markup Language (XML) 1.0 (Third Edition), W3C Recommendation 04, February 2004
16 W3C, XQuery 1.0: An XML Query Language, W3C Candidate Recommendation 3, June 2006
17 W3C. XQuery 1.0: An XML query language, 2004. Available via the WWW as http://www.w3.org/TR/xquery/
18 W3C. XQuery 1.0 and XPath 2.0 Formal Semantics. Available via the WWW as http://www.w3.org/TR/xquery-semantics/
19 W3C. XQuery 1.0 and XPath 2.0 Data Model, 2004. Available via the WWW as http://www.w3.org/TR/xpath-datamodel/
20 W3C. XML Query Use Cases, 2003. Available via the WWW as http://www.w3.org/TR/xquery-use-cases/
21 W3C. XML Query (XQuery) Requirements, 2003. Available via the WWW as http://www.w3.org/TR/xquery-requirements/
22 Yannis apakonstantinou, Vasilis Vassalos. Architecture and Implementation of an XQuery-based Information Integration Platform. IEEE Data Eng. Bull. 25 , 2002
23 张欣欣, 面向数据集成的空间数据源 wrapper 技术的研究, 北京工业大学 硕士学位论文 2005 年
24 任宇,面向空间数据集成的 XQuery 语言与执行引擎技术的研究,北京 工业大学硕士学位 论文,2005 年
25 廖伟,面向空间数据集成的 XQuery 语言与查询分解技术的研究,北京 工业大学硕士学位 论文,2005 年
26 肖冰,面向空间数据集成的 XML 数据源 Wrapper 技术研究,北京工业 大学硕士学位 论文,2005 年
27 石凌志, Web 地图服务关键技术的研究, 北京工业 大学硕士学位 论文,2006 年
28 廖湖声, 王晋强, 郑玉明, 徐琨. 多源空间数据库引擎的研究与实现. 计算机 应用研究, 2004 年
29 廖湖声, 郑玉明. 面向空间数据库引擎的扩充数据模型及其操纵语言 GSQL. 计算机工程与应用, 2002 年
30 邵佩英. 分布式数据库系统及其应用. 北京: 科学出版社, 2000
31 宋扬, 胡金星, 潘懋. 基于 GML-XML 的多源异构空间数据互操作引擎研究. 计算机工程与应用, 2003 年
32 赵萍. 基于XML的异构数据集成系统.中国优秀博硕士学位论文全文数据库. 2004年
33 杨晓强,陈冰,魏生民. 用基于 XML 的中间件访问异构数据库,计算机 应用研究,2004 年
34 邬伦, 张毅. 分布式多空间数据库系统的集成技术. 地理学与国土研究. 2002 年
35 胡金星, 潘懋, 宋扬, 马照亭. 空间数据库实现及其集成技术研究. 计算机 应 用 研究. 2003 年
36 王继周, 付俊娥, 李成名, 林宗坚. 基于 GML 的网络 GIS 空间数据交互研究. 计算机应用研究. 2004 年
37 宋关福,钟耳顺,刘纪远,肖乐斌.多源空间数据无缝集成研究。地理科学 进展。2000 年
38 周竞涛,张树生,孙宏伟,王明微.关系模式到XML Schema的约束保留映射, 西北工业大学学报,2003年
39 赵波,安杨,关佶红.基于 GML 和中介方法的空间信息查询和集成。计 算机工程与设计,2004 年
40 旷建中,马劲松,蒋民锋.基于 GML 的多源空间数据集成模型研究. 计算 机应用研究. 2005 年
41 兰小机,闾国年,刘德儿,张书亮,基于 XQuery 的 GML 查询语言研究, 测绘科学, 06 期 2005 年
42 刘志都,李自豪,异构空间数据系统查询分解算法的研究 计算机应用 研究 第 12 期 2007 年
2 D Chamberlin, J Robie, D Florescu, Quilt: An XML Query Language for Heterogeneous Data Source[J].WebDB2000.
3 Erich Gamma, Richard Helm, Ralph Johnson, John Vlissides. “设计模式”. 李英军, 马晓星等译. 机械工业出版社. 2000
4 ESRI,ArcSDE 8.3 Developer Help
5 G.Gardarin, A.Mensch, T.Tuyet Dang-Ngoc, L.Smit. Integrating Heterogeneous Data Sources with XML and XQuery 13th International Workshop on Database, 2002
6 H. Kemppainen. Designing a Mediator for Managing Relationships between Distributed Objects. In Proc. Interoperating Geographic Information Systems, Second International Conference, INTEROP ’99, Andrej Vckovski, Kurt E. Brassel, Hans-J?rg Schek (Eds.),Zurich, Switzerland, March 10-12, 1999
7 JTS Topology Suite Technical Specifications Version 1.4, Vivid Solutions,via the WWW as http://www.vividsolutions.com/JTS/JTSHome.htm.
8 Lúcio Rogério Botêlho, Júlia Célia Mercedes Strauch, Jano Moreira De Souza. An XML-based architecture for geo-referenced data integration. 2003
9 M. Fernandez, W.-C. Tan, D. Suciu, SilkRoute: trading between relations and XML, Computer Networks 33 (1–6) (2000) 723–745
10 Open GIS Consortium ,OpenGIS Geography Markup Language(GML) Implementation Specification, Version:3.00,Inc.2003
11 Omar Boucelma, Mehdi Messid and Zoé Lacroix. A WFS-based Mediation System for GIS Interoperability. 10th ACM International Symposium on Advances in Geographic Information Systems (GIS), McLean, Virginia, 2002
12 Oracle Spatial User’s Guide and Reference Release 8.1.7, http://otn.oracle.com/,2000
13 Song Wang, Elke A. Rundensteiner, Murali Mani, Optimization of Nested XQuery Expressions with Orderby Clauses, Department of Computer Science Worcester Polytechnic Institute Worcester, MA 01609, USA
14 W3C, An XML Query Language, W3C Working Draft 12 November 2003
15 W3C, Extensible Markup Language (XML) 1.0 (Third Edition), W3C Recommendation 04, February 2004
16 W3C, XQuery 1.0: An XML Query Language, W3C Candidate Recommendation 3, June 2006
17 W3C. XQuery 1.0: An XML query language, 2004. Available via the WWW as http://www.w3.org/TR/xquery/
18 W3C. XQuery 1.0 and XPath 2.0 Formal Semantics. Available via the WWW as http://www.w3.org/TR/xquery-semantics/
19 W3C. XQuery 1.0 and XPath 2.0 Data Model, 2004. Available via the WWW as http://www.w3.org/TR/xpath-datamodel/
20 W3C. XML Query Use Cases, 2003. Available via the WWW as http://www.w3.org/TR/xquery-use-cases/
21 W3C. XML Query (XQuery) Requirements, 2003. Available via the WWW as http://www.w3.org/TR/xquery-requirements/
22 Yannis apakonstantinou, Vasilis Vassalos. Architecture and Implementation of an XQuery-based Information Integration Platform. IEEE Data Eng. Bull. 25 , 2002
23 张欣欣, 面向数据集成的空间数据源 wrapper 技术的研究, 北京工业大学 硕士学位论文 2005 年
24 任宇,面向空间数据集成的 XQuery 语言与执行引擎技术的研究,北京 工业大学硕士学位 论文,2005 年
25 廖伟,面向空间数据集成的 XQuery 语言与查询分解技术的研究,北京 工业大学硕士学位 论文,2005 年
26 肖冰,面向空间数据集成的 XML 数据源 Wrapper 技术研究,北京工业 大学硕士学位 论文,2005 年
27 石凌志, Web 地图服务关键技术的研究, 北京工业 大学硕士学位 论文,2006 年
28 廖湖声, 王晋强, 郑玉明, 徐琨. 多源空间数据库引擎的研究与实现. 计算机 应用研究, 2004 年
29 廖湖声, 郑玉明. 面向空间数据库引擎的扩充数据模型及其操纵语言 GSQL. 计算机工程与应用, 2002 年
30 邵佩英. 分布式数据库系统及其应用. 北京: 科学出版社, 2000
31 宋扬, 胡金星, 潘懋. 基于 GML-XML 的多源异构空间数据互操作引擎研究. 计算机工程与应用, 2003 年
32 赵萍. 基于XML的异构数据集成系统.中国优秀博硕士学位论文全文数据库. 2004年
33 杨晓强,陈冰,魏生民. 用基于 XML 的中间件访问异构数据库,计算机 应用研究,2004 年
34 邬伦, 张毅. 分布式多空间数据库系统的集成技术. 地理学与国土研究. 2002 年
35 胡金星, 潘懋, 宋扬, 马照亭. 空间数据库实现及其集成技术研究. 计算机 应 用 研究. 2003 年
36 王继周, 付俊娥, 李成名, 林宗坚. 基于 GML 的网络 GIS 空间数据交互研究. 计算机应用研究. 2004 年
37 宋关福,钟耳顺,刘纪远,肖乐斌.多源空间数据无缝集成研究。地理科学 进展。2000 年
38 周竞涛,张树生,孙宏伟,王明微.关系模式到XML Schema的约束保留映射, 西北工业大学学报,2003年
39 赵波,安杨,关佶红.基于 GML 和中介方法的空间信息查询和集成。计 算机工程与设计,2004 年
40 旷建中,马劲松,蒋民锋.基于 GML 的多源空间数据集成模型研究. 计算 机应用研究. 2005 年
41 兰小机,闾国年,刘德儿,张书亮,基于 XQuery 的 GML 查询语言研究, 测绘科学, 06 期 2005 年
42 刘志都,李自豪,异构空间数据系统查询分解算法的研究 计算机应用 研究 第 12 期 2007 年