基于虚拟数据库技术的数据整合系统研究与实现
|
摘要
数据整合是实现信息资源共享的有效途径之一。它为数据挖掘、知识发现以及应用开发提供透明的数据访问服务,从而有效地利用现有资源,为科技进步与创新奠定坚实的基础。现有的信息资源存储于各种不同的数据库、结构化或半结构化文件中,因此,在构建数据整合系统时会面对许多方面的问题,主要是异构性、完整性、结构冲突和语义冲突等。
虚拟数据库技术致力于实现网络信息资源的共享与统一访问。使得外部数据源成为企业的关系数据库系统的外延。它收集、组织并集成分布于网络的分散数据,为上层应用程序提供单一、规范的关系数据库的数据形式。
本文结合虚拟数据库技术与当代大型数据库管理系统的特点,将虚拟数据库的技术应用到数据整合系统中,实现了异构数据源元数据的集中管理和多数据源间的数据共享。通过中间件与Web Service技术实现信息资源的整合与共享。本文提出的体系结构根据领域划分知识,建立主题知识元数据模型解决了语义冲突和结构冲突。系统中使用跨平台标记语言XML来描述信息资源模型。系统通过分类包装数据源,统一的数据源访问接口,实现了数据源的“即插即用”。系统实现使用跨平台JAVA语言,运行环境依赖于Java虚拟机,在操作系统中只要存在Java虚拟机便都可编辑、编译、调试和运行。数据服务的发布用Web Service标准框架,使得应用层的实现与中间件分离,从而使平台系统具有了良好的独立性、可移植性和跨平台性。
本文以专家信息资源为研究对象,建立“山西省科技基础条件平台建设”项目的示范工程,实现专家信息资源共享,使资源得到有效利用与合理分布。论文着重研究系统的通用性和灵活性,主要以关系数据库为主要对象,讨论了关系数据库在实现数据整合过程中存在的一些问题。
当代科学技术发展呈现出渗透、交叉与融合的态势,研究与开发的全球化趋势明显加快,信息技术的普遍应用正在深刻地改变着传统的科研方式与创新模式。科技资源的占有、配置、开发和利用方式的优劣,日益成为决定国家科技创新能力强弱的关键因素。因此研究数据整合系统的体系结构有很大的现实意义和经济效益。
The data integration is one of the effective approaches to information resource sharing. It provides the transparent data accessing service for mining data, discovering knowledge and developing application, thereby making the best of existing resource, to lay the solid foundation for scientific and technological progress and innovation. Existing information resource stores in a number of different databases, structured or semi-structured documents, therefore various problems will be faced when structuring the data integration system, which is mainly Heterogeneous, integrity, Structural conflict, semantic conflict and so on.
Virtual database technology is devoted to realizing the sharing of network information resource and the united visit to it, which makes exterior data source become the extension of the enterprise's relational database system. It collects, organizes and integrates the data interspersing at the network, and therefore it provides the data form of single standardized relational database for the upper application procedure.
In the paper the data integration system applies to the virtual database technology in combination with the characteristics of contemporary large-scale database management system, which realizes centralized management on the metadata form heterogeneous data source and the data sharing among multi-data source. The integration and sharing of information resource is realized by middleware and web service technology. According to the realm of knowledge, the system structure put forward in the paper establishes the metadata model of subject knowledge, which resolves semantic conflict and structure conflict. It uses cross-platform marked langrage XML to describe the information resource model. It realizes the data source "Plug and Play" by classifying packed data source and unifying data access interface. The system's realization relies on the cross-platform language JAVA, and its runtime environment depends on JAVA virtual machine. So long as there is Java virtual machine in the operation system, the system can edit, compile, debug and run. Data service released by Web Service standard framework makes the realization of application layer and middleware separate, therefore platform system possesses the virtue of dependence, transplantation and cross-platform.
The paper regards the expert information resource as research object, and establishes the demonstration project "Shanxi Province platform construction of science and technology foundation condition". It realizes the expert information resource sharing, and makes the best of and reasonably distributes resource. It emphatically researches on the system's generalization and flexibility. It primarily regards the relational database as the main object, and discusses some problem in the processes of data integration.
Nowadays the permeating, cross and fusing situation emerges in the development of science and technology, and the globalization trend of research and development has obviously been speeded up, at the same time, the universal application of information technology is profoundly changing the traditional methods of science research and modes of innovation. The scientific and technological resource's possession, distribution, development and utilization gradually become the key factors to decide the country's innovation ability of science and technology. Therefore it is possessed of great practical significance and economic benefits to research data integration system.
虚拟数据库技术致力于实现网络信息资源的共享与统一访问。使得外部数据源成为企业的关系数据库系统的外延。它收集、组织并集成分布于网络的分散数据,为上层应用程序提供单一、规范的关系数据库的数据形式。
本文结合虚拟数据库技术与当代大型数据库管理系统的特点,将虚拟数据库的技术应用到数据整合系统中,实现了异构数据源元数据的集中管理和多数据源间的数据共享。通过中间件与Web Service技术实现信息资源的整合与共享。本文提出的体系结构根据领域划分知识,建立主题知识元数据模型解决了语义冲突和结构冲突。系统中使用跨平台标记语言XML来描述信息资源模型。系统通过分类包装数据源,统一的数据源访问接口,实现了数据源的“即插即用”。系统实现使用跨平台JAVA语言,运行环境依赖于Java虚拟机,在操作系统中只要存在Java虚拟机便都可编辑、编译、调试和运行。数据服务的发布用Web Service标准框架,使得应用层的实现与中间件分离,从而使平台系统具有了良好的独立性、可移植性和跨平台性。
本文以专家信息资源为研究对象,建立“山西省科技基础条件平台建设”项目的示范工程,实现专家信息资源共享,使资源得到有效利用与合理分布。论文着重研究系统的通用性和灵活性,主要以关系数据库为主要对象,讨论了关系数据库在实现数据整合过程中存在的一些问题。
当代科学技术发展呈现出渗透、交叉与融合的态势,研究与开发的全球化趋势明显加快,信息技术的普遍应用正在深刻地改变着传统的科研方式与创新模式。科技资源的占有、配置、开发和利用方式的优劣,日益成为决定国家科技创新能力强弱的关键因素。因此研究数据整合系统的体系结构有很大的现实意义和经济效益。
The data integration is one of the effective approaches to information resource sharing. It provides the transparent data accessing service for mining data, discovering knowledge and developing application, thereby making the best of existing resource, to lay the solid foundation for scientific and technological progress and innovation. Existing information resource stores in a number of different databases, structured or semi-structured documents, therefore various problems will be faced when structuring the data integration system, which is mainly Heterogeneous, integrity, Structural conflict, semantic conflict and so on.
Virtual database technology is devoted to realizing the sharing of network information resource and the united visit to it, which makes exterior data source become the extension of the enterprise's relational database system. It collects, organizes and integrates the data interspersing at the network, and therefore it provides the data form of single standardized relational database for the upper application procedure.
In the paper the data integration system applies to the virtual database technology in combination with the characteristics of contemporary large-scale database management system, which realizes centralized management on the metadata form heterogeneous data source and the data sharing among multi-data source. The integration and sharing of information resource is realized by middleware and web service technology. According to the realm of knowledge, the system structure put forward in the paper establishes the metadata model of subject knowledge, which resolves semantic conflict and structure conflict. It uses cross-platform marked langrage XML to describe the information resource model. It realizes the data source "Plug and Play" by classifying packed data source and unifying data access interface. The system's realization relies on the cross-platform language JAVA, and its runtime environment depends on JAVA virtual machine. So long as there is Java virtual machine in the operation system, the system can edit, compile, debug and run. Data service released by Web Service standard framework makes the realization of application layer and middleware separate, therefore platform system possesses the virtue of dependence, transplantation and cross-platform.
The paper regards the expert information resource as research object, and establishes the demonstration project "Shanxi Province platform construction of science and technology foundation condition". It realizes the expert information resource sharing, and makes the best of and reasonably distributes resource. It emphatically researches on the system's generalization and flexibility. It primarily regards the relational database as the main object, and discusses some problem in the processes of data integration.
Nowadays the permeating, cross and fusing situation emerges in the development of science and technology, and the globalization trend of research and development has obviously been speeded up, at the same time, the universal application of information technology is profoundly changing the traditional methods of science research and modes of innovation. The scientific and technological resource's possession, distribution, development and utilization gradually become the key factors to decide the country's innovation ability of science and technology. Therefore it is possessed of great practical significance and economic benefits to research data integration system.
引文
[1]孔祥疆,马玉鹏,李英凡,异构数据库中的数据类型转换,计算机应用研究,2006年,第4期,217-218
[2]Rajaraman A,Norvig P,Virtual database technology:transforming the Internet into adatabase,IEEE Internet Computing Volume 2,Issue 4,Jul/Aug 1998 Page(s):55-58.Barbosa D,Freire J,Endelzon A,Designing Information Preserving Mapping Schemes for XML Proceedings of t he 31st VLDB Conference[C].Trondheim Norway,2005.
[3]张剑青,虚拟数据库技术:将Internet引入数据库,互联网世界,2000年,第2期,24-25
[4]童悦,朱根标,张凤鸣,异构数据库转换方法研究,《现代电子技术》,2003年,第15期,65-66
[5]李治强,苗放,多源异构数据整合在信用系统中的应用研究,计算机技术与发展,2007年2月,第17卷第2期,172-174、177
[6]顾天竺,沈洁,陈晓红等,基于XML的异构数据集成模式的研究,计算机应用研究,2007年4月,第24卷第4期,94-96
[7]陈遥,李珊,厉浩,一种基于Ontology的数据集成系统,计算机工程,2007年12月,第33卷第23期,90-93
[8]董向辉,分布数据整合与共享中的关键问题及解决方案研究,[学位论文],吉林大学,2003
[9]吴学玲,张家树,王小敏等,基于Web Service和元数据的虚拟企业信息集成框架,《微计算机信息》(管控一体化),2005年,第21卷第11-3期,58-60
[10]娄健,边小凡,中间数据源在异构数据互访中的应用,计算机应用研究,2002年,第9期,80-82
[11]易珺,梁志勇,唐平,基于XML的虚拟数据库中间件的研究,计算机与数字工程,2004年,第32卷第5期,86-88
[12]袁晓洁,于士涛,李志梁,基于Mediation的异构数据集成系统HDIS设计与实现,计算机工程与应用,2006年1月,162-165、221
[13]马淑娇,李晓,周俊林,异构数据库集成中的XML技术探讨,2004年,第1期,94-96
[14]甄玉钢,刘璐莹,康建初,基于XML异构数据库集成系统构架与开发,计算机工程,2006年1月,第32卷第2期,85-87
[15]于帆,王振铎,王振辉,基于XML异构数据库集成中间件的设计与实现,计算机应用研究,2007年9月,第24卷第9期,185-188
[16]陈茂边,基于XML的虚拟数据库管理系统,计算机工程与设计,2007年11月,第28卷第21期,5311-5313
[17]罗军,江成华,数据库结构复用技术研究,计算机工程与设计,2005年11月,第26卷第11期,3010-3012、3041
[18]吴显义,我国元数据研究现状分析,情报科学,2004年1月,第22卷第1期,55-58、62
[19]赵庆峰,鞠英杰,国内元数据研究综述,现代情报,2003年11月,第11期,42-45
[20]李瑞轩,卢正鼎,吴炜等,一种异构数据集成中的动态查询优化方法,计算机工程与科学,2004年,第26卷第12期,71-74,81
[21]王文东,王明虎,陈永锋,基于虚拟数据库的综合决策支持系统,微机发展,2005年4月,第15卷第4期,63-65
[22]齐进,周伯鑫,徐南荣,实现异构数据库集成的一种方法--元数据库法,计算机工程与应用,1998年,第4期,6-9
[23]谈猛刚,李剑,樊会锋等,XTRANS:一个XML与关系数据相互转换系统,计算机工程与应用,2004年,第19期,168-171
[24]杨芳,陶世群,基于XML异构数据库系统的集成设计,计算机工程与设计,2005年7月,第26卷第7期,1907-1910
[25]李学荣,李莎,基于元数据的异构数据源集成系统设计与实现,计算机应用,2005年12月,第25卷,209-210
[26]路燕,郭景峰,邓成玉等,基于多重表的关系模式到DTD的转换,小型微型计算机系统,2003年12月,第24卷第12期,2159-2161
[27]成绫,李盛韬,程学旗,基于XML的数据库信息交换机制,计算机工程与应用(数据库与信息处理),2003.25,184-186、225
[28]谷长勇,徐志伟,褚兴军,XML结构和关系数据库的一种形式化映射,计算机工程,2001年11月,第27卷第11期,16-17、52
[29]方翔,袁国栋,李伟生,从XML模式到关系模式的影射,计算机与程与应用,2002 年,第19期,195-197
[30]孙宏伟,张树生,周竞涛等,基于模型驱动的XML与数据库双向映射技术,计算机工程与应用,2002年,第4期,25-27
[31]高峰,鲁士文,XML Schema对关系型数据源的映射,微电子学与计算机,2004年,第21卷第2期,15-17
[32]何盈捷,王珊,从DTD映射到关系模式:一种保持数据依赖的映射方法,计算机研究与发展,2004年5月,第41卷第5期,868-873
[33]王甲民,赵天海,沈均毅,用XML表示关系数据,计算机工程与应用,2002年,第9期,176-179
[34]赵晓军,胡国林,班晓娟,尹怡欣,一种基于XML的异构数据集成平台研究,《微计算机信息》(管控一体化),2007年,第23卷第8-3期,236-237、171
[35]James J.Lu.A data model for data integration.Electronic Notes in Theoretical Computer Science,2006,150(2),3-19.
[36]Dr Andrew Blyth,An XML-based architecture to perform data integration and data unification in vulnerability assessments,School of Computing,University of Glamorgan,Pontypridd CF37 1DL,UK.
[37]Bellahsene,Z.Data integration over the Web.Data and Knowledge Engineering,2003,44(3),265-266.
[38]GERTI KAPPEL,ELISABETH KAPSAMMER and WERNER RETSCHITZEGGER,Integrating XML and Relational Database Systems,World Wide Web:Internet and Web Information Systems,2004,7,343-384.
[39]VILAS WUWONGSE,KIYOSHI AKAMA,A Data Model for XML Databases,Journal of Intelligent Information Systems,2003,20:1,63-80.
[40]Yoshikawa M,Amagasa T,Shimura T,et al.Xml:a path-based approach to storage and retrieval of XML documents using relational databases,In ACM Transactions on Internet Technology,2001:1102141.
[41]Mlynkova I,Pokorny J,XML in the World of Relational Database Systems,Charles University,Prague,Czech Republic Technical report,2003.
[2]Rajaraman A,Norvig P,Virtual database technology:transforming the Internet into adatabase,IEEE Internet Computing Volume 2,Issue 4,Jul/Aug 1998 Page(s):55-58.Barbosa D,Freire J,Endelzon A,Designing Information Preserving Mapping Schemes for XML Proceedings of t he 31st VLDB Conference[C].Trondheim Norway,2005.
[3]张剑青,虚拟数据库技术:将Internet引入数据库,互联网世界,2000年,第2期,24-25
[4]童悦,朱根标,张凤鸣,异构数据库转换方法研究,《现代电子技术》,2003年,第15期,65-66
[5]李治强,苗放,多源异构数据整合在信用系统中的应用研究,计算机技术与发展,2007年2月,第17卷第2期,172-174、177
[6]顾天竺,沈洁,陈晓红等,基于XML的异构数据集成模式的研究,计算机应用研究,2007年4月,第24卷第4期,94-96
[7]陈遥,李珊,厉浩,一种基于Ontology的数据集成系统,计算机工程,2007年12月,第33卷第23期,90-93
[8]董向辉,分布数据整合与共享中的关键问题及解决方案研究,[学位论文],吉林大学,2003
[9]吴学玲,张家树,王小敏等,基于Web Service和元数据的虚拟企业信息集成框架,《微计算机信息》(管控一体化),2005年,第21卷第11-3期,58-60
[10]娄健,边小凡,中间数据源在异构数据互访中的应用,计算机应用研究,2002年,第9期,80-82
[11]易珺,梁志勇,唐平,基于XML的虚拟数据库中间件的研究,计算机与数字工程,2004年,第32卷第5期,86-88
[12]袁晓洁,于士涛,李志梁,基于Mediation的异构数据集成系统HDIS设计与实现,计算机工程与应用,2006年1月,162-165、221
[13]马淑娇,李晓,周俊林,异构数据库集成中的XML技术探讨,2004年,第1期,94-96
[14]甄玉钢,刘璐莹,康建初,基于XML异构数据库集成系统构架与开发,计算机工程,2006年1月,第32卷第2期,85-87
[15]于帆,王振铎,王振辉,基于XML异构数据库集成中间件的设计与实现,计算机应用研究,2007年9月,第24卷第9期,185-188
[16]陈茂边,基于XML的虚拟数据库管理系统,计算机工程与设计,2007年11月,第28卷第21期,5311-5313
[17]罗军,江成华,数据库结构复用技术研究,计算机工程与设计,2005年11月,第26卷第11期,3010-3012、3041
[18]吴显义,我国元数据研究现状分析,情报科学,2004年1月,第22卷第1期,55-58、62
[19]赵庆峰,鞠英杰,国内元数据研究综述,现代情报,2003年11月,第11期,42-45
[20]李瑞轩,卢正鼎,吴炜等,一种异构数据集成中的动态查询优化方法,计算机工程与科学,2004年,第26卷第12期,71-74,81
[21]王文东,王明虎,陈永锋,基于虚拟数据库的综合决策支持系统,微机发展,2005年4月,第15卷第4期,63-65
[22]齐进,周伯鑫,徐南荣,实现异构数据库集成的一种方法--元数据库法,计算机工程与应用,1998年,第4期,6-9
[23]谈猛刚,李剑,樊会锋等,XTRANS:一个XML与关系数据相互转换系统,计算机工程与应用,2004年,第19期,168-171
[24]杨芳,陶世群,基于XML异构数据库系统的集成设计,计算机工程与设计,2005年7月,第26卷第7期,1907-1910
[25]李学荣,李莎,基于元数据的异构数据源集成系统设计与实现,计算机应用,2005年12月,第25卷,209-210
[26]路燕,郭景峰,邓成玉等,基于多重表的关系模式到DTD的转换,小型微型计算机系统,2003年12月,第24卷第12期,2159-2161
[27]成绫,李盛韬,程学旗,基于XML的数据库信息交换机制,计算机工程与应用(数据库与信息处理),2003.25,184-186、225
[28]谷长勇,徐志伟,褚兴军,XML结构和关系数据库的一种形式化映射,计算机工程,2001年11月,第27卷第11期,16-17、52
[29]方翔,袁国栋,李伟生,从XML模式到关系模式的影射,计算机与程与应用,2002 年,第19期,195-197
[30]孙宏伟,张树生,周竞涛等,基于模型驱动的XML与数据库双向映射技术,计算机工程与应用,2002年,第4期,25-27
[31]高峰,鲁士文,XML Schema对关系型数据源的映射,微电子学与计算机,2004年,第21卷第2期,15-17
[32]何盈捷,王珊,从DTD映射到关系模式:一种保持数据依赖的映射方法,计算机研究与发展,2004年5月,第41卷第5期,868-873
[33]王甲民,赵天海,沈均毅,用XML表示关系数据,计算机工程与应用,2002年,第9期,176-179
[34]赵晓军,胡国林,班晓娟,尹怡欣,一种基于XML的异构数据集成平台研究,《微计算机信息》(管控一体化),2007年,第23卷第8-3期,236-237、171
[35]James J.Lu.A data model for data integration.Electronic Notes in Theoretical Computer Science,2006,150(2),3-19.
[36]Dr Andrew Blyth,An XML-based architecture to perform data integration and data unification in vulnerability assessments,School of Computing,University of Glamorgan,Pontypridd CF37 1DL,UK.
[37]Bellahsene,Z.Data integration over the Web.Data and Knowledge Engineering,2003,44(3),265-266.
[38]GERTI KAPPEL,ELISABETH KAPSAMMER and WERNER RETSCHITZEGGER,Integrating XML and Relational Database Systems,World Wide Web:Internet and Web Information Systems,2004,7,343-384.
[39]VILAS WUWONGSE,KIYOSHI AKAMA,A Data Model for XML Databases,Journal of Intelligent Information Systems,2003,20:1,63-80.
[40]Yoshikawa M,Amagasa T,Shimura T,et al.Xml:a path-based approach to storage and retrieval of XML documents using relational databases,In ACM Transactions on Internet Technology,2001:1102141.
[41]Mlynkova I,Pokorny J,XML in the World of Relational Database Systems,Charles University,Prague,Czech Republic Technical report,2003.