基于数据仓库技术的决策支持系统研究与实现
|
摘要
近年来，在信息技术领域兴起并日益成熟的数据仓库技术成为了研究和应用的热点。从20世纪90年代初数据仓库概念的提出到现在短短的十几年时间，数据仓库便从理论研究进入到实际应用，发展速度十分惊人。实践证明，数据仓库技术在为企业或政府科学地提高决策支持水平，提高企业或政府信息质量和应变能力等方面具有主要意义。
从应用角度来看，数据仓库是一种解决方案，而不仅仅是技术和产品。数据仓库的建立是一个决策分析系统实施的过程。一方面，需要根据企业自身的管理特征具体分析，针对性地建立符合自身要求的数据仓库应用系统；另一方面，建立数据仓库需要有数据支持。管理的信息化程度、数据的真实性、准确性、有效性、规范性是建立数据仓库的基础。
从技术角度来看，数据仓库以数据库技术作为存储数据和资源管理的手段，以联机分析处理技术和方法作为提取信息的有效手段，以数据挖掘、人工智能中的模型、算法作为发现知识和规律的途径。因此，数据仓库是诸多学科相互交叉、综合应用的技术。本文以理论结合实际的方法讲述了数据仓库技术的原理、开发和应用，并阐述了数据仓库、联机分析处理、数据挖掘以及决策支持技术的相互作用和相互之间的关系。
本文共分7章，第1章主要说明了论文研究的背景、研究的方法以及论文的结构；第2章主要介绍了目前数据库技术、决策支持技术、数据仓库技术在国内外的发展和研究现状；第3章主要从理论的角度阐述了决策、决策支持和决策支持系统的基本概念和原理，同时分析了制约决策支持系统发展的因素，从而引出了数据仓库系统；第4章主要介绍了数据仓库的概念、机理、结构，并阐述了OLAP及数据挖掘技术的相关理论；第5章阐述了基于数据仓库技术的决策支持能够解决的问题，并说明了如何建立决策支持系统中的数据仓库的方法和步骤，以及在此基础上的决策支持应用；第6章主要以浦东新区政府所建设的基于数据仓库技术的决策支持系统为例说明了数据仓库项目建设中具体的设计、开发和应用的过程，在最后提出了数据仓库建设中的几个关键技术；第7章主要结合作者参与实际系统建设的亲身体会，对基于数据仓库技术的决策支持系统的建设提出了几点意见并做出总结，同时也对基于数据仓库技术的决策支持系统的发展前景做出了展望。
In recent years, the data warehouse(DW) , generating and increasingly maturing in the field of IT, is becoming a hotspot of research and application. From the appearance of DW idea at the beginning of 1990's, during few years, DW has been put into application, its tempo is fabulous. It has been proved in practice that DW is very important in the improvement of the level of scientifically decision-making and the information quality and the ability to deal with problem in the corporations or governments.
As for application, DW is not only a technology and production, but a kind of project. The building of DW is a process of decision-making and analysis implement. First, it needs to analysis the character of enterprise management to build the DW application system according with the enterprise requirement. Secondly, it needs the support of data . The degree of informationality of management, the facticity, veracity, validity, criteriaty of data is all the foundation to build DW.
As for technology, DW is a method of storing data and managing resource on the technology of DB, and an efficient measure of extracting information on the technology and method of OLAP, and the path of discovering knowledge and disciplinarian on the model and arithmetic in DM and artificial intelligence. Therefore, DW is an integrated application technology crossing with many subjects. The article narrates the principle, design and application of DW in the method of theory joined with practise, and sets forth the reciprocal effect and relation among DW, OLAP, DM, DSS.
从应用角度来看，数据仓库是一种解决方案，而不仅仅是技术和产品。数据仓库的建立是一个决策分析系统实施的过程。一方面，需要根据企业自身的管理特征具体分析，针对性地建立符合自身要求的数据仓库应用系统；另一方面，建立数据仓库需要有数据支持。管理的信息化程度、数据的真实性、准确性、有效性、规范性是建立数据仓库的基础。
从技术角度来看，数据仓库以数据库技术作为存储数据和资源管理的手段，以联机分析处理技术和方法作为提取信息的有效手段，以数据挖掘、人工智能中的模型、算法作为发现知识和规律的途径。因此，数据仓库是诸多学科相互交叉、综合应用的技术。本文以理论结合实际的方法讲述了数据仓库技术的原理、开发和应用，并阐述了数据仓库、联机分析处理、数据挖掘以及决策支持技术的相互作用和相互之间的关系。
本文共分7章，第1章主要说明了论文研究的背景、研究的方法以及论文的结构；第2章主要介绍了目前数据库技术、决策支持技术、数据仓库技术在国内外的发展和研究现状；第3章主要从理论的角度阐述了决策、决策支持和决策支持系统的基本概念和原理，同时分析了制约决策支持系统发展的因素，从而引出了数据仓库系统；第4章主要介绍了数据仓库的概念、机理、结构，并阐述了OLAP及数据挖掘技术的相关理论；第5章阐述了基于数据仓库技术的决策支持能够解决的问题，并说明了如何建立决策支持系统中的数据仓库的方法和步骤，以及在此基础上的决策支持应用；第6章主要以浦东新区政府所建设的基于数据仓库技术的决策支持系统为例说明了数据仓库项目建设中具体的设计、开发和应用的过程，在最后提出了数据仓库建设中的几个关键技术；第7章主要结合作者参与实际系统建设的亲身体会，对基于数据仓库技术的决策支持系统的建设提出了几点意见并做出总结，同时也对基于数据仓库技术的决策支持系统的发展前景做出了展望。
In recent years, the data warehouse(DW) , generating and increasingly maturing in the field of IT, is becoming a hotspot of research and application. From the appearance of DW idea at the beginning of 1990's, during few years, DW has been put into application, its tempo is fabulous. It has been proved in practice that DW is very important in the improvement of the level of scientifically decision-making and the information quality and the ability to deal with problem in the corporations or governments.
As for application, DW is not only a technology and production, but a kind of project. The building of DW is a process of decision-making and analysis implement. First, it needs to analysis the character of enterprise management to build the DW application system according with the enterprise requirement. Secondly, it needs the support of data . The degree of informationality of management, the facticity, veracity, validity, criteriaty of data is all the foundation to build DW.
As for technology, DW is a method of storing data and managing resource on the technology of DB, and an efficient measure of extracting information on the technology and method of OLAP, and the path of discovering knowledge and disciplinarian on the model and arithmetic in DM and artificial intelligence. Therefore, DW is an integrated application technology crossing with many subjects. The article narrates the principle, design and application of DW in the method of theory joined with practise, and sets forth the reciprocal effect and relation among DW, OLAP, DM, DSS.
引文
1 William A Giovinazzo. Object-Oriented Data Warehouse Design. 2000
2 W.H. Inmon. Building the Data Warehouse. Second Edition, published by John Wiley& Sons, Inc., 1996
3 Barry Devlin. Data Warehouse from Architecture to Implementation. Addison Wesley Longman, Inc., 1997
4 Chauhuri, S Dayal, An overview of data warehousing and OLTP technology. ACM Sigmod Record, 1997.26(1): 65～74.
5 Red brick System's White Paper: Star Scheme and Star Join Technology, RedBrick System.
6 E. Franconi, U. Sattler: A Data Warehouse Conceptual Data Model for Multidimensional Aggregation. Proceedings of The Intl. Workshop DMDW' 99, pages 13.1-13. 10, Heidelberg, Germany, June 14-15,1999.
7 Nam Huyn: Multiple-View Self-Maintenance in Data Warehousing Environments, Proceedings of the 23rd International Conference on Very Large Database (VLDB), Athens, Greece, 1997.
8 Jian Yang, Kamalakar Karlapalem, Qing Li: Algorithms for Materialized View Design in Data Warehousing Environment. P136-145, VLDB' 97, Proceedings of 23rd International Conference on Very Large Data Bases
9 Roddick, J. F. Data Warehousing and Data Mining: Are we working on the right things?, In Advances Database Technologies. Y. Kambabyashi, D. K. Lee, E. -P. Lim, et al. (eds.),Lecture Notes in Computer Science Vol. 1552,1999. Springer-Verlag, Berlin, 141-144
10 Jennifer Widom. Research Issues in Data Warehousing[M].Stanford University
11 David Marco. Meta Data Moves Mainstream[EB], www.microsoft. com, 1999,1
12 W H Inmon, John A Zachman. Data Stores, Data Warehousing and the Zachman Framework[M],McGraw-Hill Book Co. 1999
13 Harry Singh. Data Warehousing: Concepts, Technologies, Implementations and Management[M].Prentice Hall,1998
14 John Van Den Hoven. Data Warehousing Information Systems Management, 1997.14(1):70-727
15 Data Warehouse Overview, blink, ucsd. edu/Blink/External/Topics/Policy
16 Data Warehousing Technology, www.kenorrinst. com/dwpaper.html
17 Data Warehouse Quality Management, www.pesg. com/dimensionaldata.html
18 Oracle DataWarehouse Consulting,www.dba-oracle.com/data_warehouse.htm
19 Applied Data Resource Management (ADRM), www.adrm.com
20 Data Warehousing Methodology, http://www.mislindia.com/dwmgl.html
21 Developing A Data Warehouse Architecture, www.users.qwest.net/~lauramh/resume/thorn.htm
22 How To Build A Successful Data Warehouse, www.pesg.com/howtobuildwarehouse.html
23 Data Warehouse Quality Management, www.users.qwest.net/~lauramh/resume/dwqual.htm
24 郑晓军．应用数据仓库的挑战与对策．微电脑世界．1999；
25 李磊、陈建．让决策更科学——决策支持系统在电子政务中的应用，计算机世界，2001，(3)；
26 汪恒杰、宋汝良、杨广润．基于数据仓库的政府社会经济发展信息系统．计算机应用研究，2002年增刊，293-294；
27 黄梯云．智能决策支持系统 电子工业出版社 2001年1月；
28 邓苏、刘青宝、陈卫东等．数据仓库原理与应用 电子工业出版社2002年3月；
29 陈京民．数据仓库与数据挖掘技术 电子工业出版社2002年8月；
30 Efrem G. Mallach Decision Support and Data Warehouse Systems 清华大学出版社2001年1月；
31 姚渝、向伟．数据库技术与数据仓库技术．中国城市金融，2001年2月：
32 数据仓库入门 china.pub.com 电子书籍；
33 Joyce Bischoff，Ted Alexander．数据仓库技术．成栋，魏立源泽．电子工业出版社，1998；
34 飞思科技产品研发中心．Oracle 9i数据仓库技术构建技术．电子工业出版社，2003；
35 萨师煊、王珊．数据库系统概论(第二版)，高等教育出版社；
36 数据仓库应用在中国专题计算机世界，2001年第19期；
37 陈文伟．决策支持系统及其开发(第2版)．北京：清华大学出版社，2000；
38 高洪深．决策支持系统理论、方法、案例．清华大学出版社，1996年9月；
39 决策支持系统的发展．www.creawor.com／biforum／bi_05.htm；
40 数据仓库技术简介．www.yesky.com；
41 王珊、罗力．从数据库到数据仓库．中国人民大学数据与知识工程研究所，1997；
42 Paul Gray Hugh，J．Watson．数据仓库中的决策支持．陈朔鹰、周志逵、赵丰年等译．北京理工大学出版社，2001年1月；
43 袁长河、吴永明．基于数据仓库的决策支持系统的研究与实现．计算机工程与应用，2001；(16)：101-103：
44 邹修明、张岳新．DSS中的数据库管理子系统分析与应用Vol．17，No．5，2001：
45 鲁敏．大型决策支持系统的数据仓库设计与实施中关键技术．计算机工程与应用，1999，(9)：94-97；
46 王晓军．数据仓库在决策支持系统中的应用，计算机工程与应用，1997年12月；
47 王珊等．数据仓库技术与联机分析处理[M]．科学出版社，1998年5月；
48 张维东．决策型OA中数据仓库、OLAP及数据挖掘技术的研究与设计．同济大学2000年博士论文；
49 刘义、常戈群．基于关系数据库的OLTP的研究Aug．，2001；
50 郭朝珍 扬俊杰．基于数据仓库技术和OLAP的决策支持系统，计算机系统应用；
51 张学福．数据仓库技术与我国市场决策支持信息资源建设．中国图书馆学报，1999；
52 胡岷．数据仓库，新一代的决策支持工具．河北科技图苑，Vol．14，No．4，2001：
53 李英杰、耿兆丰、苏厚勤．基于数据仓库的决策支持系统的应用研究，计算机系统应用；
54 乔琳等．复杂企业决策支持环境下的数据仓库体系结构的演化，计算机工程与应用，2000：36(7)：98-100；
55 于戈、张斌．数据仓库管理中的若干关键技术．计算机科学，1997：(2)：31-34；
56 罗书强、何玉林等：基于数据仓库的集成质量决策支持系统的研究，计算机工程与应用 Vol．37，No．6，2001；
57 朱焱．浅论数据抽取、净化和转换工具计算机应用Vol．20，No．4，Apr．，2001：
58 姜旭平．信息系统开发方法——方法、策略、技术、工具与发展，1997；
59 廖麟、王立刚、刘文煌．构造数据仓库系统的元数据，计算机工程与应用Vol．37，No．16，2001；
60 刘鸿儒．基于数据银行的石油勘探开发数据仓库的分析与设计，2001；
61 陶再平、陈奇、俞瑞钊．数据仓库在企业中的应用计算机工程Vol．26，No．7，Jul．，2000；
62 廖麟、王立刚、刘文煌、陈震宇．基于数据仓库的CIMS数据环境设计计算机工程与应用Vol．17，No．6，2001；
63 王新庄、段建华．面向数据仓库的MIS系统设计．计算机工程与应用，2001：(16)：97-100；
64 吴正宏．基于数据仓库的管理信息系统建设．计算机系统应用1997年12月；
65 詹敏等．保险业务联机分析处理系统的实现软件学报Vol．28，No．1，Jan．，2001；
66 胡侃、夏绍玮．基于大型数据仓库的数据挖掘：研究综述，软件学报Vol．9，No．1，Apr．，1998；
67 构建基于数据仓库的DSS，www.ccidnet.com/html/tech/paper/2001/10/11/58_3411.html;
68 赖福军、周婷．数据仓库及其相关技术．软件世界，1997，(2)：4-10；
69 张宜红．数据仓库的实现技术．计算机科学，1998，(2)：67-69；
70 黄启春、陈奇．面向主题的数据仓库结构，计算机应用研究，1998；(6)：18-20；
71 杨光、张雷、艾波．数据仓库实施策略．计算机应用，1999，19(9)：4-8；
72 张梅峰．数据仓库在商业系统中应用的探讨，郑州轻工业学院学报(自然科学版)，VOL．15 No．3 2000．9：48-50；
73 Lou Agosta．数据仓库技术指南．潇湘工作室译．人民邮电出版社，2000年11月。
2 W.H. Inmon. Building the Data Warehouse. Second Edition, published by John Wiley& Sons, Inc., 1996
3 Barry Devlin. Data Warehouse from Architecture to Implementation. Addison Wesley Longman, Inc., 1997
4 Chauhuri, S Dayal, An overview of data warehousing and OLTP technology. ACM Sigmod Record, 1997.26(1): 65～74.
5 Red brick System's White Paper: Star Scheme and Star Join Technology, RedBrick System.
6 E. Franconi, U. Sattler: A Data Warehouse Conceptual Data Model for Multidimensional Aggregation. Proceedings of The Intl. Workshop DMDW' 99, pages 13.1-13. 10, Heidelberg, Germany, June 14-15,1999.
7 Nam Huyn: Multiple-View Self-Maintenance in Data Warehousing Environments, Proceedings of the 23rd International Conference on Very Large Database (VLDB), Athens, Greece, 1997.
8 Jian Yang, Kamalakar Karlapalem, Qing Li: Algorithms for Materialized View Design in Data Warehousing Environment. P136-145, VLDB' 97, Proceedings of 23rd International Conference on Very Large Data Bases
9 Roddick, J. F. Data Warehousing and Data Mining: Are we working on the right things?, In Advances Database Technologies. Y. Kambabyashi, D. K. Lee, E. -P. Lim, et al. (eds.),Lecture Notes in Computer Science Vol. 1552,1999. Springer-Verlag, Berlin, 141-144
10 Jennifer Widom. Research Issues in Data Warehousing[M].Stanford University
11 David Marco. Meta Data Moves Mainstream[EB], www.microsoft. com, 1999,1
12 W H Inmon, John A Zachman. Data Stores, Data Warehousing and the Zachman Framework[M],McGraw-Hill Book Co. 1999
13 Harry Singh. Data Warehousing: Concepts, Technologies, Implementations and Management[M].Prentice Hall,1998
14 John Van Den Hoven. Data Warehousing Information Systems Management, 1997.14(1):70-727
15 Data Warehouse Overview, blink, ucsd. edu/Blink/External/Topics/Policy
16 Data Warehousing Technology, www.kenorrinst. com/dwpaper.html
17 Data Warehouse Quality Management, www.pesg. com/dimensionaldata.html
18 Oracle DataWarehouse Consulting,www.dba-oracle.com/data_warehouse.htm
19 Applied Data Resource Management (ADRM), www.adrm.com
20 Data Warehousing Methodology, http://www.mislindia.com/dwmgl.html
21 Developing A Data Warehouse Architecture, www.users.qwest.net/~lauramh/resume/thorn.htm
22 How To Build A Successful Data Warehouse, www.pesg.com/howtobuildwarehouse.html
23 Data Warehouse Quality Management, www.users.qwest.net/~lauramh/resume/dwqual.htm
24 郑晓军．应用数据仓库的挑战与对策．微电脑世界．1999；
25 李磊、陈建．让决策更科学——决策支持系统在电子政务中的应用，计算机世界，2001，(3)；
26 汪恒杰、宋汝良、杨广润．基于数据仓库的政府社会经济发展信息系统．计算机应用研究，2002年增刊，293-294；
27 黄梯云．智能决策支持系统 电子工业出版社 2001年1月；
28 邓苏、刘青宝、陈卫东等．数据仓库原理与应用 电子工业出版社2002年3月；
29 陈京民．数据仓库与数据挖掘技术 电子工业出版社2002年8月；
30 Efrem G. Mallach Decision Support and Data Warehouse Systems 清华大学出版社2001年1月；
31 姚渝、向伟．数据库技术与数据仓库技术．中国城市金融，2001年2月：
32 数据仓库入门 china.pub.com 电子书籍；
33 Joyce Bischoff，Ted Alexander．数据仓库技术．成栋，魏立源泽．电子工业出版社，1998；
34 飞思科技产品研发中心．Oracle 9i数据仓库技术构建技术．电子工业出版社，2003；
35 萨师煊、王珊．数据库系统概论(第二版)，高等教育出版社；
36 数据仓库应用在中国专题计算机世界，2001年第19期；
37 陈文伟．决策支持系统及其开发(第2版)．北京：清华大学出版社，2000；
38 高洪深．决策支持系统理论、方法、案例．清华大学出版社，1996年9月；
39 决策支持系统的发展．www.creawor.com／biforum／bi_05.htm；
40 数据仓库技术简介．www.yesky.com；
41 王珊、罗力．从数据库到数据仓库．中国人民大学数据与知识工程研究所，1997；
42 Paul Gray Hugh，J．Watson．数据仓库中的决策支持．陈朔鹰、周志逵、赵丰年等译．北京理工大学出版社，2001年1月；
43 袁长河、吴永明．基于数据仓库的决策支持系统的研究与实现．计算机工程与应用，2001；(16)：101-103：
44 邹修明、张岳新．DSS中的数据库管理子系统分析与应用Vol．17，No．5，2001：
45 鲁敏．大型决策支持系统的数据仓库设计与实施中关键技术．计算机工程与应用，1999，(9)：94-97；
46 王晓军．数据仓库在决策支持系统中的应用，计算机工程与应用，1997年12月；
47 王珊等．数据仓库技术与联机分析处理[M]．科学出版社，1998年5月；
48 张维东．决策型OA中数据仓库、OLAP及数据挖掘技术的研究与设计．同济大学2000年博士论文；
49 刘义、常戈群．基于关系数据库的OLTP的研究Aug．，2001；
50 郭朝珍 扬俊杰．基于数据仓库技术和OLAP的决策支持系统，计算机系统应用；
51 张学福．数据仓库技术与我国市场决策支持信息资源建设．中国图书馆学报，1999；
52 胡岷．数据仓库，新一代的决策支持工具．河北科技图苑，Vol．14，No．4，2001：
53 李英杰、耿兆丰、苏厚勤．基于数据仓库的决策支持系统的应用研究，计算机系统应用；
54 乔琳等．复杂企业决策支持环境下的数据仓库体系结构的演化，计算机工程与应用，2000：36(7)：98-100；
55 于戈、张斌．数据仓库管理中的若干关键技术．计算机科学，1997：(2)：31-34；
56 罗书强、何玉林等：基于数据仓库的集成质量决策支持系统的研究，计算机工程与应用 Vol．37，No．6，2001；
57 朱焱．浅论数据抽取、净化和转换工具计算机应用Vol．20，No．4，Apr．，2001：
58 姜旭平．信息系统开发方法——方法、策略、技术、工具与发展，1997；
59 廖麟、王立刚、刘文煌．构造数据仓库系统的元数据，计算机工程与应用Vol．37，No．16，2001；
60 刘鸿儒．基于数据银行的石油勘探开发数据仓库的分析与设计，2001；
61 陶再平、陈奇、俞瑞钊．数据仓库在企业中的应用计算机工程Vol．26，No．7，Jul．，2000；
62 廖麟、王立刚、刘文煌、陈震宇．基于数据仓库的CIMS数据环境设计计算机工程与应用Vol．17，No．6，2001；
63 王新庄、段建华．面向数据仓库的MIS系统设计．计算机工程与应用，2001：(16)：97-100；
64 吴正宏．基于数据仓库的管理信息系统建设．计算机系统应用1997年12月；
65 詹敏等．保险业务联机分析处理系统的实现软件学报Vol．28，No．1，Jan．，2001；
66 胡侃、夏绍玮．基于大型数据仓库的数据挖掘：研究综述，软件学报Vol．9，No．1，Apr．，1998；
67 构建基于数据仓库的DSS，www.ccidnet.com/html/tech/paper/2001/10/11/58_3411.html;
68 赖福军、周婷．数据仓库及其相关技术．软件世界，1997，(2)：4-10；
69 张宜红．数据仓库的实现技术．计算机科学，1998，(2)：67-69；
70 黄启春、陈奇．面向主题的数据仓库结构，计算机应用研究，1998；(6)：18-20；
71 杨光、张雷、艾波．数据仓库实施策略．计算机应用，1999，19(9)：4-8；
72 张梅峰．数据仓库在商业系统中应用的探讨，郑州轻工业学院学报(自然科学版)，VOL．15 No．3 2000．9：48-50；
73 Lou Agosta．数据仓库技术指南．潇湘工作室译．人民邮电出版社，2000年11月。