数据仓库系统软件集成框架研究
|
摘要
随着数据仓库技术在实践中的广泛应用，如何实现不同数据仓库系统之间数据的协同处理和交换，已经成为数据仓库产品供应商和国际化组织研究的主要课题。
本文以数据仓库技术为研究背景，对数据仓库软件系统的集成管理进行了研究。本文分析了数据仓库系统软件的基本特征，提出了利用描述驱动技术来实现数据仓库系统的集成管理，描述了ETL操作和分析处理的基本处理流程和相应的执行构件，定义了集成框架中数据模式转换规则和数掘清洗规则，构建了一个基于星型模式和对象模型的分析模型和相应的数据查询语言，提出了集成框架系统构件间的数据交换标准，并定义了基于此标准的的数据交换和元数据交换方法，探讨了集成框架标准构件管理的基本方法和权限管理，最后介绍了数据仓库集成框架系统在商业领域的应用实例e-Chain系统和工程试验领域的应用实例FTEDWS系统。
While data warehouse technology has been widely used in practice, it has been one of the main research topics that how to implement co-operation and data exchange between different data warehouse systems.
Based on the data warehouse technology, this paper mainly deals the integrated management of data warehouse software system. This paper describes the basic features and components of data warehouse system, and deals how to use description-driven technology to integrate different data warehouse systems, how to implement the change from one data schema to another, how to clean dirty data in data transformation process, and how to exchange data among different components or systems.
At last, this paper takes two products to illustrate how to implement systems following these principles and methods. These two products are the e-Chain system as an application in commerce domain, and the FTEDWS system as an application in engineer test domain.
本文以数据仓库技术为研究背景，对数据仓库软件系统的集成管理进行了研究。本文分析了数据仓库系统软件的基本特征，提出了利用描述驱动技术来实现数据仓库系统的集成管理，描述了ETL操作和分析处理的基本处理流程和相应的执行构件，定义了集成框架中数据模式转换规则和数掘清洗规则，构建了一个基于星型模式和对象模型的分析模型和相应的数据查询语言，提出了集成框架系统构件间的数据交换标准，并定义了基于此标准的的数据交换和元数据交换方法，探讨了集成框架标准构件管理的基本方法和权限管理，最后介绍了数据仓库集成框架系统在商业领域的应用实例e-Chain系统和工程试验领域的应用实例FTEDWS系统。
While data warehouse technology has been widely used in practice, it has been one of the main research topics that how to implement co-operation and data exchange between different data warehouse systems.
Based on the data warehouse technology, this paper mainly deals the integrated management of data warehouse software system. This paper describes the basic features and components of data warehouse system, and deals how to use description-driven technology to integrate different data warehouse systems, how to implement the change from one data schema to another, how to clean dirty data in data transformation process, and how to exchange data among different components or systems.
At last, this paper takes two products to illustrate how to implement systems following these principles and methods. These two products are the e-Chain system as an application in commerce domain, and the FTEDWS system as an application in engineer test domain.
引文
[1]柳雪涛，黄志球，左银龙，高鹏，数据仓库系统中用户驱动报表工具的设计与实现，小型微型计算机系统，2002．2
[2]黄志球，可复用的工程数据管理关键技术研究，南京航空航天大学博士研究生学位论文，1999
[3]沈国华，黄志球，柳雪涛，张定会，基于数据仓库技术的工程数据管理系统的研究与实现，小型微型计算机系统，(已录用)
[4]W.H.Inmon, Building the Data Warehouse. 2na ed., New York: John Wiley and Sons Inc., 1996
[5]Bill Inmon, Enterprise Metadata, DM Review, November 1998
[6]Richard, J. Kachur, Data Warehouse Management Handbook, Prentice Hall PTR, 2000
[7]Tom Hammergren，数据仓库技术，北京：中国水力水电出版社，1998．2
[8]Ramon Barquin, Herb Edelstein, Building, Using and Managding the Data Warehouse, Prentice Hall PTR, 1997
[9]Common Warehouse Meta-model (CWM) Specification, OMG Document, February 11,2000
[10]左银龙，分布式应用系统关键技术研究与应用，南京航空航天大学硕士学位论文，南京，2001
[11]史殿习、吴泉源、王怀民、邹鹏，一种实现互操作的分布式集成框架的设计与实现，计算机研究与发展，1999，Vol．36 No．8：1012-1018
[12]N. Baker, A Bazan, etc, Design Patterns for Description-Driven Systems,ECOOP'2000
[13]Brigitte Kerherve, Olivier Gerbé, Models for Metadata or Metamodels for Data, Proceedings of 2nd IEEE Metadata Conference, September, 1997, Maryland
[14]W．H．Inmon，Ken Rudin etc，数据仓库管理，电子工业出版社，2000
[15]卢正鼎，张照，周裕强等，面向工程设计应用的数据库管理系统EDDBMS，计算机研究与发展，Vol．34 Suppl，1997
[16]陈俊，孙建伶，董金祥，工程数据库管理系统的体系结构，软件学报，Vol．10 No．2，1999
[17]顾宁，林宗楷，郭玉钗，工程数据库管理系统设计、实现的几个关键问题，软件学报，Vol．8 No．3，1997
[18]胡长军，葛敬国，庞景芹，一个领域软件集成框架的研究与实现，计算机工程与应用，2000，Vol．36 No．9：4-7
[19]Tom Hammergren，数据仓库技术，北京：中国水力水电出版社，1998．2
[20]黄志球，王珊珊，尤晓梅，试飞数据库管理系统实现研究，南航学报，Vol．31 No．12，1999
[21]王珊珊，黄志球，尤晓梅，建立面向试飞数据处理的试飞数据库系统FTDBMS，计算机工程，Vol．26 No．12，2000
[22]黄志球，尤晓梅，王珊珊，乔兵，通用试飞数据处理查询语言FTSQL，数据采集与处理，Vol．15 No．4，2000
[23]戴超凡，陈文伟，邓苏，陆昌辉，唐九阳，数据仓库中元数据技术研究，计算机工程与应用，2001，Vol．37 No．14：85-87
[24]高洪深，决策支持系统理论、方法、案例，清华出版社&广西科学技术出版社，2000．9
[25]韩伟红，隋品波，贾焰，王志英，基于分布式对象技术的多数据库系统，计算机工程与科学，Vol．22 No．1：32-34，2000
[26]王宁，陈滢，俞本权，徐宏炳，王能斌，一个基于CORBA的异构数据源集成系统的设计，软件学报，1998，Vol．9 No．5
[27]曹晓阳，刘锦德等，基于CORBA的数据库访问构件，计算机应用，Vol．19 No．5，1999
[28]Xu Xuebiao, Shi Baile, Gu Ning, FIMDP: An Inter-Operable Multi-Database Platform, Proceedings of the 8th International Database Workshop, Hong Kong, 1997.7
[29]王建新，刘东波，九大数据仓库方案特点比较，计算机世界，2001／05／21
[30]PLATINUM数据仓库解决方案，PLATINUM Co．，2000-12-19，URL:http://www2.yesky.com/50331648/146593.shtml
[31]罗运模，SQL Server2000数据仓库应用与开发，人民邮电出版社，2001．7
[32]Eric Sperley，企业数据仓库规划、建立与实现，人民邮电出版社，2000．8
[33]Barry Revelim, Data warehouse from architecture to implementation, Mass:Addison-Wesley, 1999
[34]Oracle Warehouse Builder: A Technical Overview, Oracle Technical White Paper, February 2000
[35]Data Extraction, Transformation, and Migration Tools, Distributed Kismet Analytic Corp., White paper, 1996
[36]朱焱，浅论数据抽取、净化和转换工具，计算机应用，2000，Vol．20 No．4：1-3
[37]Ramon Barquin, Herb Edelstein, Building, Using and Managing the Data Warehouse, the Data Warehouse Insitute Series from Prentice Hall PTR., 1997
[38]The Microsoft Data Warehousing Strategy, Miscrosof Co. 2000.1, http://www. microsoft. com/TechNet/sql/Technote/datawhst. asp
[39]王红兵，数据仓库中的元数据，微机发展，1999．5
[40]Efrem G．Mallach，决策支持与数据仓库系统，电子工业出版社，2001．4
[41] Tom Hammergren，数据仓库技术，北京：中国水力水电出版社，1998．2
[42] 李臻峰，黄志球，通用静态格式报表打印设计，计算机工程，2001，Vol．27 No．4：191～193
[43] Harry S. Sigh, Data Warehousing: Concepts, Technologies, Implementations and Management, Prentice Hall PTR, 1997
[44] Ralph Kimball, The Data Warehouse Toolkit. New York: John Wiley and Sons, 1996.
[45] J. Albrecht, H. Guenyel, W. Lehner, An Architecture for Distributed OLAP, International Conference on Parallel and Distributed Processing Techniques and Applications, 1998
[46] 史金红，吴永明，影响数据仓库成功的关键因素，电子工程师，Vol．26 No．1：P．9-13
[47] 唐世渭，裴健，数据仓库技术专题讲座(三)，中国金融电脑，1998．3
[48] R McClatchey, Z Kovacs etc, The Role of Meta-Objects and Self-Description in an Engineering Data Warehouse, International Database Engineering & Applications Symposiun, Montreal, Canada, August 1999
[49] Se:in Kelly, Tony Sach, etc, Data Warehouse Administration, SAS Institute White Paper, 1997
[50] 劳虎，无废话XML,www.2tigers.net
[51] XML实用大全，URL:http://wwwl. xml. net. cn/asps/book chapter. asp?chapterid=0211
[52] 戴超凡，刘青宝，邓苏，高士光，OIM XML编码研究，计算机工程与应用，2001，Vol．37 No．3：7～9
[53] 黄向东，HTML基本语法辑录，今日电脑，1997．10．24
[54] Natanya Pitts，XML轻松进阶，电子工业出版社
[55] Sridhar Iyengar, Unisys Fellow, XML Metadata Interchange (OMG XMI) Distributed Metadata Interchange for the WEB Generation, Meta-Data Conference, April 19-22, Atlantic City, URL: http://www. omg. org/docs/omg/99-04-04. pdf
[56] 沈国华，数据仓库用户工具的研究与实现，南京航空航天大学硕士学位论文，南京，2002
[57] 谢江，王振宇，关于软件标识重用技术的研究，计算机研究与发展，1998,35(2)
[58] Marco Cantu，Delphi 5从入门到精通，北京：电子工业出版社，2000
[59] J. Draskic, J. L. Goff, Etc, Using a Meta-Model as the Basis for Enterprise-Wide Data Navigation, URL: http://www.libnet.sh.cn/istis/dlib/ysj/rncclatchey.html
[60] W. H. Inmon, What is a Data Warehouse, PRISM, Vol. 1 No.1, 1995
[61] C.Wohlin, P. Runenson, Certification of Softare Components, IEEE Transaction On Software Engineering, June 1994, 20
[62] 萨师煊，王珊，数据库系统概论，高等教育出版社，1991
[63] 齐进，周伯鑫，徐南荣，实现异构数据库集成的一种方法—元数据库法，计算机工程与应用，1998，Vol．34 No．4：6-9
[64] 李俊，李勇，联邦式异构数据库应用系统的集成框架和实现技术的研究，计算机应用研究，2001(4)：19-22
[65] 王忠群，管理信息系统的集成技术研究，计算机应用，1998，Vol．18 No．6：14-19
[66] Huang Zhiqiu, Wang Shanshan, Wang Min, Components Reuse and Its Influence on IMS Software Quality, Proceedings of the 2nd International Conference on Quality and Reliablity, 1-3 SEPTEMBER 1997, HONGKONG
[67] Huang Zhiqiu, Li Qing, A Solution to High Availability of OPENSTOCK, Transactions of NUAA, Vol. 17 No.2, 2000 黄志球，李清，OPENSTOCK的高可用性解决方案，南航学报，Vol．17 No．2，2000
[68] 董泉源，黄志球，基于Web三层C／S模式应用系统的设计与实现，南京师大学报，Vol．23 No．4，2000
[69] Huang Zhiqiu，Li Qing，A Solution tO High Availability of Business System，Proceedings of 16th World Computer Congress，电子工业出版社，北京，2000．8 黄志球，李清，一种高可用性的商业系统解决方案，WCC2000，Vol．17 No．2，2000
[70] 李臻峰，基于构件和三层体系结构软件开发技术的应用研究，南京航空航天大学硕士论文，2001．3
[71] 蒋慧，吴立发，陈卫卫，UML Programming Guide设计核心技术，北京希望电子出版社，2001．1
[72] 张定会，黄志球，沈国华，柳雪涛，高鹏，基于星型模式的OLAP工具的研究与设计，计算机工程与设计(已录用)
[73] 高鹏，面向对象软件的质量度量，南京航空航天大学硕士论文，2002．1
[74] 马修才，支持应用系统复用的实现技术研究，南京航空航天大学硕士论文，2000．3
[2]黄志球，可复用的工程数据管理关键技术研究，南京航空航天大学博士研究生学位论文，1999
[3]沈国华，黄志球，柳雪涛，张定会，基于数据仓库技术的工程数据管理系统的研究与实现，小型微型计算机系统，(已录用)
[4]W.H.Inmon, Building the Data Warehouse. 2na ed., New York: John Wiley and Sons Inc., 1996
[5]Bill Inmon, Enterprise Metadata, DM Review, November 1998
[6]Richard, J. Kachur, Data Warehouse Management Handbook, Prentice Hall PTR, 2000
[7]Tom Hammergren，数据仓库技术，北京：中国水力水电出版社，1998．2
[8]Ramon Barquin, Herb Edelstein, Building, Using and Managding the Data Warehouse, Prentice Hall PTR, 1997
[9]Common Warehouse Meta-model (CWM) Specification, OMG Document, February 11,2000
[10]左银龙，分布式应用系统关键技术研究与应用，南京航空航天大学硕士学位论文，南京，2001
[11]史殿习、吴泉源、王怀民、邹鹏，一种实现互操作的分布式集成框架的设计与实现，计算机研究与发展，1999，Vol．36 No．8：1012-1018
[12]N. Baker, A Bazan, etc, Design Patterns for Description-Driven Systems,ECOOP'2000
[13]Brigitte Kerherve, Olivier Gerbé, Models for Metadata or Metamodels for Data, Proceedings of 2nd IEEE Metadata Conference, September, 1997, Maryland
[14]W．H．Inmon，Ken Rudin etc，数据仓库管理，电子工业出版社，2000
[15]卢正鼎，张照，周裕强等，面向工程设计应用的数据库管理系统EDDBMS，计算机研究与发展，Vol．34 Suppl，1997
[16]陈俊，孙建伶，董金祥，工程数据库管理系统的体系结构，软件学报，Vol．10 No．2，1999
[17]顾宁，林宗楷，郭玉钗，工程数据库管理系统设计、实现的几个关键问题，软件学报，Vol．8 No．3，1997
[18]胡长军，葛敬国，庞景芹，一个领域软件集成框架的研究与实现，计算机工程与应用，2000，Vol．36 No．9：4-7
[19]Tom Hammergren，数据仓库技术，北京：中国水力水电出版社，1998．2
[20]黄志球，王珊珊，尤晓梅，试飞数据库管理系统实现研究，南航学报，Vol．31 No．12，1999
[21]王珊珊，黄志球，尤晓梅，建立面向试飞数据处理的试飞数据库系统FTDBMS，计算机工程，Vol．26 No．12，2000
[22]黄志球，尤晓梅，王珊珊，乔兵，通用试飞数据处理查询语言FTSQL，数据采集与处理，Vol．15 No．4，2000
[23]戴超凡，陈文伟，邓苏，陆昌辉，唐九阳，数据仓库中元数据技术研究，计算机工程与应用，2001，Vol．37 No．14：85-87
[24]高洪深，决策支持系统理论、方法、案例，清华出版社&广西科学技术出版社，2000．9
[25]韩伟红，隋品波，贾焰，王志英，基于分布式对象技术的多数据库系统，计算机工程与科学，Vol．22 No．1：32-34，2000
[26]王宁，陈滢，俞本权，徐宏炳，王能斌，一个基于CORBA的异构数据源集成系统的设计，软件学报，1998，Vol．9 No．5
[27]曹晓阳，刘锦德等，基于CORBA的数据库访问构件，计算机应用，Vol．19 No．5，1999
[28]Xu Xuebiao, Shi Baile, Gu Ning, FIMDP: An Inter-Operable Multi-Database Platform, Proceedings of the 8th International Database Workshop, Hong Kong, 1997.7
[29]王建新，刘东波，九大数据仓库方案特点比较，计算机世界，2001／05／21
[30]PLATINUM数据仓库解决方案，PLATINUM Co．，2000-12-19，URL:http://www2.yesky.com/50331648/146593.shtml
[31]罗运模，SQL Server2000数据仓库应用与开发，人民邮电出版社，2001．7
[32]Eric Sperley，企业数据仓库规划、建立与实现，人民邮电出版社，2000．8
[33]Barry Revelim, Data warehouse from architecture to implementation, Mass:Addison-Wesley, 1999
[34]Oracle Warehouse Builder: A Technical Overview, Oracle Technical White Paper, February 2000
[35]Data Extraction, Transformation, and Migration Tools, Distributed Kismet Analytic Corp., White paper, 1996
[36]朱焱，浅论数据抽取、净化和转换工具，计算机应用，2000，Vol．20 No．4：1-3
[37]Ramon Barquin, Herb Edelstein, Building, Using and Managing the Data Warehouse, the Data Warehouse Insitute Series from Prentice Hall PTR., 1997
[38]The Microsoft Data Warehousing Strategy, Miscrosof Co. 2000.1, http://www. microsoft. com/TechNet/sql/Technote/datawhst. asp
[39]王红兵，数据仓库中的元数据，微机发展，1999．5
[40]Efrem G．Mallach，决策支持与数据仓库系统，电子工业出版社，2001．4
[41] Tom Hammergren，数据仓库技术，北京：中国水力水电出版社，1998．2
[42] 李臻峰，黄志球，通用静态格式报表打印设计，计算机工程，2001，Vol．27 No．4：191～193
[43] Harry S. Sigh, Data Warehousing: Concepts, Technologies, Implementations and Management, Prentice Hall PTR, 1997
[44] Ralph Kimball, The Data Warehouse Toolkit. New York: John Wiley and Sons, 1996.
[45] J. Albrecht, H. Guenyel, W. Lehner, An Architecture for Distributed OLAP, International Conference on Parallel and Distributed Processing Techniques and Applications, 1998
[46] 史金红，吴永明，影响数据仓库成功的关键因素，电子工程师，Vol．26 No．1：P．9-13
[47] 唐世渭，裴健，数据仓库技术专题讲座(三)，中国金融电脑，1998．3
[48] R McClatchey, Z Kovacs etc, The Role of Meta-Objects and Self-Description in an Engineering Data Warehouse, International Database Engineering & Applications Symposiun, Montreal, Canada, August 1999
[49] Se:in Kelly, Tony Sach, etc, Data Warehouse Administration, SAS Institute White Paper, 1997
[50] 劳虎，无废话XML,www.2tigers.net
[51] XML实用大全，URL:http://wwwl. xml. net. cn/asps/book chapter. asp?chapterid=0211
[52] 戴超凡，刘青宝，邓苏，高士光，OIM XML编码研究，计算机工程与应用，2001，Vol．37 No．3：7～9
[53] 黄向东，HTML基本语法辑录，今日电脑，1997．10．24
[54] Natanya Pitts，XML轻松进阶，电子工业出版社
[55] Sridhar Iyengar, Unisys Fellow, XML Metadata Interchange (OMG XMI) Distributed Metadata Interchange for the WEB Generation, Meta-Data Conference, April 19-22, Atlantic City, URL: http://www. omg. org/docs/omg/99-04-04. pdf
[56] 沈国华，数据仓库用户工具的研究与实现，南京航空航天大学硕士学位论文，南京，2002
[57] 谢江，王振宇，关于软件标识重用技术的研究，计算机研究与发展，1998,35(2)
[58] Marco Cantu，Delphi 5从入门到精通，北京：电子工业出版社，2000
[59] J. Draskic, J. L. Goff, Etc, Using a Meta-Model as the Basis for Enterprise-Wide Data Navigation, URL: http://www.libnet.sh.cn/istis/dlib/ysj/rncclatchey.html
[60] W. H. Inmon, What is a Data Warehouse, PRISM, Vol. 1 No.1, 1995
[61] C.Wohlin, P. Runenson, Certification of Softare Components, IEEE Transaction On Software Engineering, June 1994, 20
[62] 萨师煊，王珊，数据库系统概论，高等教育出版社，1991
[63] 齐进，周伯鑫，徐南荣，实现异构数据库集成的一种方法—元数据库法，计算机工程与应用，1998，Vol．34 No．4：6-9
[64] 李俊，李勇，联邦式异构数据库应用系统的集成框架和实现技术的研究，计算机应用研究，2001(4)：19-22
[65] 王忠群，管理信息系统的集成技术研究，计算机应用，1998，Vol．18 No．6：14-19
[66] Huang Zhiqiu, Wang Shanshan, Wang Min, Components Reuse and Its Influence on IMS Software Quality, Proceedings of the 2nd International Conference on Quality and Reliablity, 1-3 SEPTEMBER 1997, HONGKONG
[67] Huang Zhiqiu, Li Qing, A Solution to High Availability of OPENSTOCK, Transactions of NUAA, Vol. 17 No.2, 2000 黄志球，李清，OPENSTOCK的高可用性解决方案，南航学报，Vol．17 No．2，2000
[68] 董泉源，黄志球，基于Web三层C／S模式应用系统的设计与实现，南京师大学报，Vol．23 No．4，2000
[69] Huang Zhiqiu，Li Qing，A Solution tO High Availability of Business System，Proceedings of 16th World Computer Congress，电子工业出版社，北京，2000．8 黄志球，李清，一种高可用性的商业系统解决方案，WCC2000，Vol．17 No．2，2000
[70] 李臻峰，基于构件和三层体系结构软件开发技术的应用研究，南京航空航天大学硕士论文，2001．3
[71] 蒋慧，吴立发，陈卫卫，UML Programming Guide设计核心技术，北京希望电子出版社，2001．1
[72] 张定会，黄志球，沈国华，柳雪涛，高鹏，基于星型模式的OLAP工具的研究与设计，计算机工程与设计(已录用)
[73] 高鹏，面向对象软件的质量度量，南京航空航天大学硕士论文，2002．1
[74] 马修才，支持应用系统复用的实现技术研究，南京航空航天大学硕士论文，2000．3