基于XML的异构数据交换的设计与实现
摘要
近年来,随着Internet和信息产业的迅速发展,数据量呈现爆炸式的增长,数据库技术得到了广泛的应用。但由于在选择数据处理系统时存在各种差异,使得数据源千差万别,形成了一个巨大的异构数据库环境,如何共享这些异构数据成为人们面临的一大难题。
XML技术一经出现就在异构数据交换方面显示了强大的力量,迅速成为一个与平台无关、与厂商无关的数据格式标准,克服了EDI等传统数据交换技术具有的格式不灵活、成本昂贵、交互性差等缺点。
本文就异构数据库数据交换问题进行了研究,给出了基于XML实现异构数据库数据交换的较详尽的解决方案,并实现了一个异构数据交换的实例。
本文应用XML技术建立了数据交换的模型,采用XML文档作为数据交换的载体,并设计了XML文档格式的交换规则字典作为人机交互的方式,用其与事先定义好的转换规则共同约束转换过程,很好的解决了转换过程中存在的插入异常、结构冲突、语义冲突等问题。论文还建立了数据库结构与XML Schema、数据库数据与XML文档、数据库数据类型与XML Schema数据类型三个方面的映射规则,并提出了“一个表对应一个XML Schema和一个XML文件”的映射规则,简化了XML Schema文档的结构,有效的缓解了由于XML文档过大而带来的解析问题。对转换过程中的大对象数据交换问题和安全问题提出了解决方案,最后利用J2EE的标准环境和JDOM API接口及JDBC驱动完成了异构数据的迁移,最终实现了异构数据库数据交换的目标。
本课题来源于教育部“春晖计划”基金项目,经过实际数据的测试,取得了较好的效果。
With the rapid development of internet and information technology in recent years, the data amount is increasing explosively which result in the wide application of database technology. However, that various differences in choosing database processing system lead to the variety of data sources forms a huge heterogeneous database circumstances, so, how to co-share those heterogeneous databases is becoming a challenge to all of us.
XML technology, which shows her powerful influence in data exchanging upon her birth, is becoming not only a data format standard irreverent to platform or supplier , but also overcomes those deficiencies of those traditional EDI data exchange technology ,such as inflexibility, high cost, poor interactivity.
The following paper explores data exchange of heterogeneous databases, giving a much more detailed solution on achieving heterogeneous according to XML, and also accomplishes a vivid example on heterogeneous database.
This essay set up a model on the basis of XML technology, using XML text as a carrier for data exchange, designing a changing regulation dictionary of XML text format as human machine interaction. It solves the problems as error inserting; structure conflicting and meaning conflicting that come up in the exchanging process through an advanced defined exchanging rule to administrate the exchanging process. Besides this, this essay also founds the mapping regulation for three pairs, which are database structures with XML SCHEMA, data of database with XML text, the data type of the database. Third, this essay brings up a mapping regulation which is“a table to a XML SCHEMA and a XML text”, simplifies the structure of XML SCHEMA, and effectively buffers the analysis ability in case of too enormous XML text. Fourth, this paper addresses a solving program on big target data exchanging problems and security issues in transforming process. Fifth, making full use of J2EE standard circumstance, JDOM API outlet and JDBC drive to accomplish the move of heterogeneous database, realizing the goal of heterogeneous database exchanging.
This subject comes from the“Spring Plan”, a funds program of Education Department, has achieved great progress through years of practical data test.
XML技术一经出现就在异构数据交换方面显示了强大的力量,迅速成为一个与平台无关、与厂商无关的数据格式标准,克服了EDI等传统数据交换技术具有的格式不灵活、成本昂贵、交互性差等缺点。
本文就异构数据库数据交换问题进行了研究,给出了基于XML实现异构数据库数据交换的较详尽的解决方案,并实现了一个异构数据交换的实例。
本文应用XML技术建立了数据交换的模型,采用XML文档作为数据交换的载体,并设计了XML文档格式的交换规则字典作为人机交互的方式,用其与事先定义好的转换规则共同约束转换过程,很好的解决了转换过程中存在的插入异常、结构冲突、语义冲突等问题。论文还建立了数据库结构与XML Schema、数据库数据与XML文档、数据库数据类型与XML Schema数据类型三个方面的映射规则,并提出了“一个表对应一个XML Schema和一个XML文件”的映射规则,简化了XML Schema文档的结构,有效的缓解了由于XML文档过大而带来的解析问题。对转换过程中的大对象数据交换问题和安全问题提出了解决方案,最后利用J2EE的标准环境和JDOM API接口及JDBC驱动完成了异构数据的迁移,最终实现了异构数据库数据交换的目标。
本课题来源于教育部“春晖计划”基金项目,经过实际数据的测试,取得了较好的效果。
With the rapid development of internet and information technology in recent years, the data amount is increasing explosively which result in the wide application of database technology. However, that various differences in choosing database processing system lead to the variety of data sources forms a huge heterogeneous database circumstances, so, how to co-share those heterogeneous databases is becoming a challenge to all of us.
XML technology, which shows her powerful influence in data exchanging upon her birth, is becoming not only a data format standard irreverent to platform or supplier , but also overcomes those deficiencies of those traditional EDI data exchange technology ,such as inflexibility, high cost, poor interactivity.
The following paper explores data exchange of heterogeneous databases, giving a much more detailed solution on achieving heterogeneous according to XML, and also accomplishes a vivid example on heterogeneous database.
This essay set up a model on the basis of XML technology, using XML text as a carrier for data exchange, designing a changing regulation dictionary of XML text format as human machine interaction. It solves the problems as error inserting; structure conflicting and meaning conflicting that come up in the exchanging process through an advanced defined exchanging rule to administrate the exchanging process. Besides this, this essay also founds the mapping regulation for three pairs, which are database structures with XML SCHEMA, data of database with XML text, the data type of the database. Third, this essay brings up a mapping regulation which is“a table to a XML SCHEMA and a XML text”, simplifies the structure of XML SCHEMA, and effectively buffers the analysis ability in case of too enormous XML text. Fourth, this paper addresses a solving program on big target data exchanging problems and security issues in transforming process. Fifth, making full use of J2EE standard circumstance, JDOM API outlet and JDBC drive to accomplish the move of heterogeneous database, realizing the goal of heterogeneous database exchanging.
This subject comes from the“Spring Plan”, a funds program of Education Department, has achieved great progress through years of practical data test.
引文
[1] 游中胜.S_Schema及其关系映射方法[J]:计算机科学.2005,(3)
[2] 程起虎.基于XML的数据交换的实现[J]:南京广播电视大学学报.2005,(2)
[3] 申传斌.基于XML的数字图书馆异构数据库互连[J]:现代情报.2005.7 (7):33～35
[4] 李尊朝.基于XML的异构数据库间信息安全交换[J]:计算机工程与应用.2005,(4)
[5] 杜军威,隋树林.基于XML的异构数据库模式转换的实现[J]:青岛科技大学学报.2005.4
[6] 刘云峰.基于XML数据集成与交换中的完整性约束研究[J]:计算机工程.2005.5,(6)
[7] 魏应彬.用JSP从异构数据库中产生XML文档[J]:信息技术.2004.3,(2)
[8] 高峰.XML Schema对关系型数据源的映射[J]:微电子学与计算机.2004,21(2)
[9] 陈赫贝,王念桥.xml Schema与DTD的比较与应用[J]:微机发展.2004.1,1
[10] 陈鹏.保持语义约束的关系模式到 XML Schema 的映射[J]:计算机科学.2005,(3)
[11] 张晓刚.利用 JDOM 实现 XML 文档和数据库之间的数据交换[J]:计算机技术与应用.2005.4,21(2)
[12] 秦玉杰.使用 JDBC 实现 XML 文档到 Oracle9i 数据库的存取[J]:计算机工程与设计.2005.10,(10)
[13] 刘晨斌.一种 XML 数据与关系数据库相互转换的解决方案[J]:计算机与现代化.2005,(5)
[14] 冒东奎,王岳昭.Java 的 XML 应用编程接口 JDOM 的技术内涵研究[J]:福州大学学报(自然科学版).2006.2,(1)
[15] 张华,董慧.利用 JDOM 解析 XML 文档及其在数据转换上的应用[J]:工作交流.2005,(11)
[16] 魏应斌,王娟.用 JDOM 处理 XML 文档[J]:福建电脑.2004,(10):2～3
[17] 谭汉松,鞠明辉.利用 XML 技术实现异构数据库数据转换[J]:科技广场.2006,(8)
[18] 石玉晶,牛存良,马新娜.使用 XML 进行异构数据库间数据传送[J]:实践与经验.2003,(5).11
[19] 吴扬扬,陈锻生.利用 ASP 和 XML 技术集成多数据源的数据[J]:电脑开发与应用.2001,14(5):26～28
[20] 李军怀,张景等.基于 XML 的企业异构数据集成方法研究[J]:计算机工程.2002.11,28(9):18～19
[21] 田绪红,孙微微.基于 XML 的异构数据库查询技术研究[J]:计算机工程与应用.2003,(12):24～26
[22] 李鸣,张安强,林健.一种基于 XML 和 ADO 技术的异构数据库访问中间件的设计与实现[J]:空军工程大学学报.2002.8,3(4)
[23] Aaron Skonnard,Martin Gudgin.xml 精要快要参考手册——XML、XPath、XSLT、XML Schema、SOAP[M].牛韬,英宇.北京:人民邮电出版社,2002.10
[24] Valentine. XML Schema 数据库编程指南[M].毛选.北京:电子工业出版社,2002.5:26～27
[25] 何忠,张申生.xml 映射器的实现[J]:计算机工程与应用.2004.4,(10):137～139
[26] 梁利姣,吴国平.一种基于 XML 的异构数据源集成方案[J]:现代计算机.2004.3,(11):27～29
[27] 杨晓宇.基于 XML 的数据交换的实现[J]:科技情报开发与经济,2004,14(4):41～43
[28] 谷长勇,徐志伟.XML 结构和关系数据库的一种形式化映射[J]:计算机工程,2001,(5).:44～45
[29] 李京,庄成三.用 XML 对数据库查询的方法[J]:计算机应用,2000,(3):21～22
[30] 王春枝.利用 XML 实现异构数据库间互访[J]:微型机与应用,2002,(4):12～13
[31] 曾晓金.Web 数据库中间件技术[J]:云南工业大学计算机应用重点实验室,2004,(9):11～13
[32] 刘科.基于 JAVA 技术解决数字图书馆异构平台数据库访问[J]:现代图书情报技术,2002(2):41～43
[33] 赵辉,陶世群,李丽萍.一种基于 XML 的异构数据源集成的方法与实现[J]:山西大学学报,2005,(7)
[34] 谢芳华,任午令,唐任忠.基于 XML 的异构数据交换集成技术及其实现[J]:制造业自动化,2004.4,26(4)
[35] J.Cheng,J.Xu,XML and DB2,ICDE Conf,San Diego,March 2000
[36] Grehan, Rick ,Berkeley DB Gets XML Smarts,InfoWorld, 4/12/2004, Vol. 26 Issue 15
[37] Funderburk, J. E. Malaika, S. Reinwald, B. XML programming with SQL/XML and XQuery. IBM Systems Journal; 2002, Vol. 41 Issue 4
[38] Igor Tatainov,Stratis D.Viglas Storing and Querying Ordered XML Using a Relational Database System,Proceedings of the 2002 ACM SIGMOD intemational conference on Management of data, Madison, Wisconsin.USA,2002
[39] S.Banerjee,etc.al,Oracle8i The XML Enabled Data Management System,ICDE Conf,San diego, 2000:561～568
[2] 程起虎.基于XML的数据交换的实现[J]:南京广播电视大学学报.2005,(2)
[3] 申传斌.基于XML的数字图书馆异构数据库互连[J]:现代情报.2005.7 (7):33～35
[4] 李尊朝.基于XML的异构数据库间信息安全交换[J]:计算机工程与应用.2005,(4)
[5] 杜军威,隋树林.基于XML的异构数据库模式转换的实现[J]:青岛科技大学学报.2005.4
[6] 刘云峰.基于XML数据集成与交换中的完整性约束研究[J]:计算机工程.2005.5,(6)
[7] 魏应彬.用JSP从异构数据库中产生XML文档[J]:信息技术.2004.3,(2)
[8] 高峰.XML Schema对关系型数据源的映射[J]:微电子学与计算机.2004,21(2)
[9] 陈赫贝,王念桥.xml Schema与DTD的比较与应用[J]:微机发展.2004.1,1
[10] 陈鹏.保持语义约束的关系模式到 XML Schema 的映射[J]:计算机科学.2005,(3)
[11] 张晓刚.利用 JDOM 实现 XML 文档和数据库之间的数据交换[J]:计算机技术与应用.2005.4,21(2)
[12] 秦玉杰.使用 JDBC 实现 XML 文档到 Oracle9i 数据库的存取[J]:计算机工程与设计.2005.10,(10)
[13] 刘晨斌.一种 XML 数据与关系数据库相互转换的解决方案[J]:计算机与现代化.2005,(5)
[14] 冒东奎,王岳昭.Java 的 XML 应用编程接口 JDOM 的技术内涵研究[J]:福州大学学报(自然科学版).2006.2,(1)
[15] 张华,董慧.利用 JDOM 解析 XML 文档及其在数据转换上的应用[J]:工作交流.2005,(11)
[16] 魏应斌,王娟.用 JDOM 处理 XML 文档[J]:福建电脑.2004,(10):2～3
[17] 谭汉松,鞠明辉.利用 XML 技术实现异构数据库数据转换[J]:科技广场.2006,(8)
[18] 石玉晶,牛存良,马新娜.使用 XML 进行异构数据库间数据传送[J]:实践与经验.2003,(5).11
[19] 吴扬扬,陈锻生.利用 ASP 和 XML 技术集成多数据源的数据[J]:电脑开发与应用.2001,14(5):26～28
[20] 李军怀,张景等.基于 XML 的企业异构数据集成方法研究[J]:计算机工程.2002.11,28(9):18～19
[21] 田绪红,孙微微.基于 XML 的异构数据库查询技术研究[J]:计算机工程与应用.2003,(12):24～26
[22] 李鸣,张安强,林健.一种基于 XML 和 ADO 技术的异构数据库访问中间件的设计与实现[J]:空军工程大学学报.2002.8,3(4)
[23] Aaron Skonnard,Martin Gudgin.xml 精要快要参考手册——XML、XPath、XSLT、XML Schema、SOAP[M].牛韬,英宇.北京:人民邮电出版社,2002.10
[24] Valentine. XML Schema 数据库编程指南[M].毛选.北京:电子工业出版社,2002.5:26～27
[25] 何忠,张申生.xml 映射器的实现[J]:计算机工程与应用.2004.4,(10):137～139
[26] 梁利姣,吴国平.一种基于 XML 的异构数据源集成方案[J]:现代计算机.2004.3,(11):27～29
[27] 杨晓宇.基于 XML 的数据交换的实现[J]:科技情报开发与经济,2004,14(4):41～43
[28] 谷长勇,徐志伟.XML 结构和关系数据库的一种形式化映射[J]:计算机工程,2001,(5).:44～45
[29] 李京,庄成三.用 XML 对数据库查询的方法[J]:计算机应用,2000,(3):21～22
[30] 王春枝.利用 XML 实现异构数据库间互访[J]:微型机与应用,2002,(4):12～13
[31] 曾晓金.Web 数据库中间件技术[J]:云南工业大学计算机应用重点实验室,2004,(9):11～13
[32] 刘科.基于 JAVA 技术解决数字图书馆异构平台数据库访问[J]:现代图书情报技术,2002(2):41～43
[33] 赵辉,陶世群,李丽萍.一种基于 XML 的异构数据源集成的方法与实现[J]:山西大学学报,2005,(7)
[34] 谢芳华,任午令,唐任忠.基于 XML 的异构数据交换集成技术及其实现[J]:制造业自动化,2004.4,26(4)
[35] J.Cheng,J.Xu,XML and DB2,ICDE Conf,San Diego,March 2000
[36] Grehan, Rick ,Berkeley DB Gets XML Smarts,InfoWorld, 4/12/2004, Vol. 26 Issue 15
[37] Funderburk, J. E. Malaika, S. Reinwald, B. XML programming with SQL/XML and XQuery. IBM Systems Journal; 2002, Vol. 41 Issue 4
[38] Igor Tatainov,Stratis D.Viglas Storing and Querying Ordered XML Using a Relational Database System,Proceedings of the 2002 ACM SIGMOD intemational conference on Management of data, Madison, Wisconsin.USA,2002
[39] S.Banerjee,etc.al,Oracle8i The XML Enabled Data Management System,ICDE Conf,San diego, 2000:561～568