基于侨务数据仓库的联机分析
摘要
90年代以来，计算机技术，尤其是数据库技术的发展为决策支持系统(DSS)提供了技术支持。激烈的市场竞争是促使高层次决策人员对DSS产生迫切需要的一个直接原因。DSS包括联机分析处理(OLAP)和DM(数据挖掘)。数据仓库(DW)技术的发展，是由于简单的数据库已经不能满足DSS系统的需要。DM致力于知识的自动发现，OLAP集中于数据的多维分析，DW用于综合性数据存储。OLAP与DW技术相结合已经是一种必然趋势。
国务院侨办需要研究拟定侨务工作的方针、政策、法规，并负责监督检查贯彻执行情况；制定侨务工作的发展规划；协助总理办理侨务工作；对有关部门和社会团体所开展的华侨工作进行必要的统筹、协调；研究提出华侨工作的方针政策建议，保护华侨的正当权益；开展对华侨及其社团的团结友好工作；依法保护归侨、侨眷的合法权益；会同有关部门拟定归侨、侨眷的方针政策；开展归侨、侨眷工作等等。所有这些工作说明侨务信息决策系统的重要性和构建侨务数据仓库的必要性。国家计委项目《侨务数据仓库决策与支持系统》正是这样一个决策系统，本课题是该项目的一个子项目。
目前，有许多公司在使用了OLAP后发现它的效果是非常好的。OLAP是一个非常有潜力和吸引力的新技术。把OLAP集成应用到我们的侨务数据仓库中，将是一件非常有价值的研究工作。
本课题是采用了微软公司的大型数据库系统SQL Server 2000作为数据仓库和OLAP数据库的数据库服务器，针对异构数据库来源，采用DTS数据转换工具，Analysis Services作为OLAP的主要建立和分析工具，建立了侨务数据OLAP数据库，创建了有关的多维数据集和其中的事实表和维表的星型结构，实现对数据集的多维操纵和度量的计算。结合了最新的XML技术，采用了MDX查询语言和ADO MD对象模型，结合了VB编程。本课题讨论的OLAP的理论框架也可以在别的大型数据库系统中应用。希望本课题为侨务数据仓库的决策分析方面做出了自己的努力。
Computer technology, especially database technology supports Decision Support System (DSS). DSS has become the important need of decision-makers. DSS includes two applications: Online Analysis Process and Data Mining. The development of Data Ware is due to the traditional DBMS can't satisfy the need of DSS.DM is about the auto find of knowledge. OLAP is center on multi-analysis of data. DW is used for storage of integrated data. The combination Of DW an OLAP is certain trend in future.
Overseas Chinese Offices, State Department of China needs to research of overseas Chinese affairs. The foundation of overseas Chinese affairs data ware is very important.
The function of OLAP is powerful. Many companies that have used OLAP find it's effective. OLAP is a potential and attractive new technology. So the integration of OLAP and Overseas Chinese Affair Data ware is valuable.
The paper adopts the great database system-SQL Server 2000 of Microsoft as the database sever of data ware and OLAP database. The aim is different structure data sources and DTS is the transform tools. Analysis Services is the main OLAP analysis tools. The paper introduces the new technology-XML, and adopt MDX , ADO MD and VB. The frame also can be introduced in other great database systems. I hope the paper can be helpful to the DSS of overseas Chinese data ware.
国务院侨办需要研究拟定侨务工作的方针、政策、法规，并负责监督检查贯彻执行情况；制定侨务工作的发展规划；协助总理办理侨务工作；对有关部门和社会团体所开展的华侨工作进行必要的统筹、协调；研究提出华侨工作的方针政策建议，保护华侨的正当权益；开展对华侨及其社团的团结友好工作；依法保护归侨、侨眷的合法权益；会同有关部门拟定归侨、侨眷的方针政策；开展归侨、侨眷工作等等。所有这些工作说明侨务信息决策系统的重要性和构建侨务数据仓库的必要性。国家计委项目《侨务数据仓库决策与支持系统》正是这样一个决策系统，本课题是该项目的一个子项目。
目前，有许多公司在使用了OLAP后发现它的效果是非常好的。OLAP是一个非常有潜力和吸引力的新技术。把OLAP集成应用到我们的侨务数据仓库中，将是一件非常有价值的研究工作。
本课题是采用了微软公司的大型数据库系统SQL Server 2000作为数据仓库和OLAP数据库的数据库服务器，针对异构数据库来源，采用DTS数据转换工具，Analysis Services作为OLAP的主要建立和分析工具，建立了侨务数据OLAP数据库，创建了有关的多维数据集和其中的事实表和维表的星型结构，实现对数据集的多维操纵和度量的计算。结合了最新的XML技术，采用了MDX查询语言和ADO MD对象模型，结合了VB编程。本课题讨论的OLAP的理论框架也可以在别的大型数据库系统中应用。希望本课题为侨务数据仓库的决策分析方面做出了自己的努力。
Computer technology, especially database technology supports Decision Support System (DSS). DSS has become the important need of decision-makers. DSS includes two applications: Online Analysis Process and Data Mining. The development of Data Ware is due to the traditional DBMS can't satisfy the need of DSS.DM is about the auto find of knowledge. OLAP is center on multi-analysis of data. DW is used for storage of integrated data. The combination Of DW an OLAP is certain trend in future.
Overseas Chinese Offices, State Department of China needs to research of overseas Chinese affairs. The foundation of overseas Chinese affairs data ware is very important.
The function of OLAP is powerful. Many companies that have used OLAP find it's effective. OLAP is a potential and attractive new technology. So the integration of OLAP and Overseas Chinese Affair Data ware is valuable.
The paper adopts the great database system-SQL Server 2000 of Microsoft as the database sever of data ware and OLAP database. The aim is different structure data sources and DTS is the transform tools. Analysis Services is the main OLAP analysis tools. The paper introduces the new technology-XML, and adopt MDX , ADO MD and VB. The frame also can be introduced in other great database systems. I hope the paper can be helpful to the DSS of overseas Chinese data ware.
引文
[1] 刘义、常戈群，基于关系数据库的OLAP的研究，计算机工程与应用，2001／08
[2] 飞思科技产品研发中心 编著，SQL Server 2000 OLAP 服务设计与应用，电子工业出版社，2002
[3] 付继彬、范群波、刘晓亮编著，Oracle8入门与提高，清华大学出版社，2000
[4] Michael Corey等著，Oracle8i数据仓库，机械工业出版社，2002
[5] Michael J．Corey，Michael Abbey lan Abraamson，Ben Taub著，陈越 郭渊博 张红旗 等译 Oracle8数据仓库分析、构建实用指南，机械工业出版社，2000
[6] 彭木根 编著，数据仓库技术与实现，电子工业出版社，2002
[7] SQL Server 2000 高级应用，人民邮电出版社
[8] 王珊 等编著，数据仓库技术与联机分析处理，北京科学出版社，1998
[9] Mike Gunderloy，Tim Sneath 著，张伟、宋霞译，SQL Server 开发指南，电子工业出版社，2001
[10] 张其洁，华侨华人文献信息资料的建库与上网，暨南大学图书馆华侨华人文献信息中心
[11] 吉根林，联机分析处理(OLAP)技术研究，南京师大学报(自然科学版)1999／04
[12] 时密林、胡明、张雯、许建潮，企业数据仓库与决策支持系统，吉林工学院学报 2001／03
[13] 杨光、张雷、艾波，数据仓库及联机分析处理技术，计算机工程与科学，2000／01
[14] 刘小宁、马光志，数据仓库实化视图的联机维护，计算机应用研究，2001／06
[15] 赵玉源、白英彩，OLAP系统基于查询结构的用户浏览引导，计算机研究与发展，2001／06
[16] 方曲祥、孙海涛，CUBE计算中的MMST树以及BIT形成算法，计算机工程与应用，2000／05
[17] 喻钢、周定康，联机分析处理(OLAP)技术的研究，计算机应用，2001／11
[18] 罗昌隆，关系联机分析处理器的设计和实现，南京邮电学院学报(自然科学版)，2001／06
[19] James R．Grof & Paul N．Weinberg，SQL完全参考手册，北京希望电子出版社，2000／03
[20] Microsoft 公司著，MCSE-SQL Server2000 数据库设计与实现，北京大学出版社
[21] Sanjay Goil Alok N. Chouhary, High Performance OLAP and Data Mining on Parallel Computers, Data Mining and Knowledge Discovery, 1,391-417 (1997)
[22] Shahana Sen Alexander Tuzhilin, Making Sense of Marketing Data:Some MIS Perspectives on the Analysis of Large Data Sets, Journal of Market Focused Management, 3, 91 - 111 (1998)
[23] Christian Bohm Stefan Berchtold Hans-Peter Kriegel Urs Michel, Multidimensional Index Structures in Relational Databases, Journal of Intelligent Information Systems, 15, 51-70, 2000
[24] Mikael R. Jensen Thomas H. Moller Torben Bach Pedersen , Specifying OLAP Cubes on XML Data, Journal of Intelligent Information Systems, 17:2/3, 255-280, 2001
[25] Larry Kerschberg, Guest Editor Introductin:Scientific and Statistical Database Management, Journal of Intelligent Information Systems, 17:2/3,103-105, 2001
[26] OLAP@Work Enriches Microsoft Excel 97/2000 for Complete OLAP Analysis and Reporting, An OLAP@Work White Paper
[27] The Role of the OLAP Server in a Data Warehousing Solution, Hyperion Essbase
[28] 贺广生、蔡勇，基于MS Anslysis Services 的 OLAP 系统的设计与实现，信息技术，2002/07
[29] 毕利、张礼、平毕茹，数据仓库中 OLAP 的实现技术，微型电脑应用，2002/06
[30] 蒋秀凤，OLAP技术的分析，福州大学学报，2002/04
[31] Weifa Liang, Maria E. Orlowska, Jeffrey X. Yu, Optimizing multiple dimensional queries simultaneously in multidimensional databases , The VLDB Journal The International Journal on Very Large Data Bases, Volume 8, Numbers 3-4/February 2000
[32] Tom Achor, Using online analytical processing tools, The CPA Journal, 2002/03
[33] FAUZIAH MUHTAR, Analysis tool to help decision makers, Computimes Malaysia, 2001/07
[34] Rick Whiting, Customers question OLAP move, InformationWeek, 2001/03
[35] Tim Fielden, Excel add-in eases OLAP, InfoWorld, 1999/10
[36] Catherine Ma, Data warehousing technology assessment and management, Industrial Management + Data Systems, 2000
[37] Chad Hammond, Wired for OLAP lets your users hit the road, InfoWorld, 1999/08
[38] 陈瑜、何晖，联机分析处理和在MIS中应用的方法，现代电子技术，2001/09
[39] David Sceppa著，ADO编程技术，清华大学出版社
[40] 姚宇蓉，数据仓库联机分析处理和数据挖掘技术的研究，上海交通大学，2000
[41] Mike Gunderloy，Tim Sneah著，SQL Server开发指南，电子工业出版社，2001
[42] Alex Berson Stephen J. Smith, Data warehousing, data mining, and OLAP Beijing World Publishing Corp.,1999
[43] (美)William C．Amo著，SQL Server OLAP开发指南，北京电子工业出版社，2000
[44] 是月华[著]，基于Web的三层体系结构OLAP研究与应用，上海交通大学，1999
[45] [美]马丁(Martin，D．)等著，李喆等译，XML高级编程，机械工业出版社，2001
[46] Microsotf Corporation著，孙岩、许勇光等译，Microsoft SQL Server 2000体系结构与XML/internet支持清华大学出版社，2001年8月第1版
[47] 飞思科技产品研发中心编著，开发专家之数据库SQL Server 2000 XML应用开发，电子工业出版社，2001
[2] 飞思科技产品研发中心 编著，SQL Server 2000 OLAP 服务设计与应用，电子工业出版社，2002
[3] 付继彬、范群波、刘晓亮编著，Oracle8入门与提高，清华大学出版社，2000
[4] Michael Corey等著，Oracle8i数据仓库，机械工业出版社，2002
[5] Michael J．Corey，Michael Abbey lan Abraamson，Ben Taub著，陈越 郭渊博 张红旗 等译 Oracle8数据仓库分析、构建实用指南，机械工业出版社，2000
[6] 彭木根 编著，数据仓库技术与实现，电子工业出版社，2002
[7] SQL Server 2000 高级应用，人民邮电出版社
[8] 王珊 等编著，数据仓库技术与联机分析处理，北京科学出版社，1998
[9] Mike Gunderloy，Tim Sneath 著，张伟、宋霞译，SQL Server 开发指南，电子工业出版社，2001
[10] 张其洁，华侨华人文献信息资料的建库与上网，暨南大学图书馆华侨华人文献信息中心
[11] 吉根林，联机分析处理(OLAP)技术研究，南京师大学报(自然科学版)1999／04
[12] 时密林、胡明、张雯、许建潮，企业数据仓库与决策支持系统，吉林工学院学报 2001／03
[13] 杨光、张雷、艾波，数据仓库及联机分析处理技术，计算机工程与科学，2000／01
[14] 刘小宁、马光志，数据仓库实化视图的联机维护，计算机应用研究，2001／06
[15] 赵玉源、白英彩，OLAP系统基于查询结构的用户浏览引导，计算机研究与发展，2001／06
[16] 方曲祥、孙海涛，CUBE计算中的MMST树以及BIT形成算法，计算机工程与应用，2000／05
[17] 喻钢、周定康，联机分析处理(OLAP)技术的研究，计算机应用，2001／11
[18] 罗昌隆，关系联机分析处理器的设计和实现，南京邮电学院学报(自然科学版)，2001／06
[19] James R．Grof & Paul N．Weinberg，SQL完全参考手册，北京希望电子出版社，2000／03
[20] Microsoft 公司著，MCSE-SQL Server2000 数据库设计与实现，北京大学出版社
[21] Sanjay Goil Alok N. Chouhary, High Performance OLAP and Data Mining on Parallel Computers, Data Mining and Knowledge Discovery, 1,391-417 (1997)
[22] Shahana Sen Alexander Tuzhilin, Making Sense of Marketing Data:Some MIS Perspectives on the Analysis of Large Data Sets, Journal of Market Focused Management, 3, 91 - 111 (1998)
[23] Christian Bohm Stefan Berchtold Hans-Peter Kriegel Urs Michel, Multidimensional Index Structures in Relational Databases, Journal of Intelligent Information Systems, 15, 51-70, 2000
[24] Mikael R. Jensen Thomas H. Moller Torben Bach Pedersen , Specifying OLAP Cubes on XML Data, Journal of Intelligent Information Systems, 17:2/3, 255-280, 2001
[25] Larry Kerschberg, Guest Editor Introductin:Scientific and Statistical Database Management, Journal of Intelligent Information Systems, 17:2/3,103-105, 2001
[26] OLAP@Work Enriches Microsoft Excel 97/2000 for Complete OLAP Analysis and Reporting, An OLAP@Work White Paper
[27] The Role of the OLAP Server in a Data Warehousing Solution, Hyperion Essbase
[28] 贺广生、蔡勇，基于MS Anslysis Services 的 OLAP 系统的设计与实现，信息技术，2002/07
[29] 毕利、张礼、平毕茹，数据仓库中 OLAP 的实现技术，微型电脑应用，2002/06
[30] 蒋秀凤，OLAP技术的分析，福州大学学报，2002/04
[31] Weifa Liang, Maria E. Orlowska, Jeffrey X. Yu, Optimizing multiple dimensional queries simultaneously in multidimensional databases , The VLDB Journal The International Journal on Very Large Data Bases, Volume 8, Numbers 3-4/February 2000
[32] Tom Achor, Using online analytical processing tools, The CPA Journal, 2002/03
[33] FAUZIAH MUHTAR, Analysis tool to help decision makers, Computimes Malaysia, 2001/07
[34] Rick Whiting, Customers question OLAP move, InformationWeek, 2001/03
[35] Tim Fielden, Excel add-in eases OLAP, InfoWorld, 1999/10
[36] Catherine Ma, Data warehousing technology assessment and management, Industrial Management + Data Systems, 2000
[37] Chad Hammond, Wired for OLAP lets your users hit the road, InfoWorld, 1999/08
[38] 陈瑜、何晖，联机分析处理和在MIS中应用的方法，现代电子技术，2001/09
[39] David Sceppa著，ADO编程技术，清华大学出版社
[40] 姚宇蓉，数据仓库联机分析处理和数据挖掘技术的研究，上海交通大学，2000
[41] Mike Gunderloy，Tim Sneah著，SQL Server开发指南，电子工业出版社，2001
[42] Alex Berson Stephen J. Smith, Data warehousing, data mining, and OLAP Beijing World Publishing Corp.,1999
[43] (美)William C．Amo著，SQL Server OLAP开发指南，北京电子工业出版社，2000
[44] 是月华[著]，基于Web的三层体系结构OLAP研究与应用，上海交通大学，1999
[45] [美]马丁(Martin，D．)等著，李喆等译，XML高级编程，机械工业出版社，2001
[46] Microsotf Corporation著，孙岩、许勇光等译，Microsoft SQL Server 2000体系结构与XML/internet支持清华大学出版社，2001年8月第1版
[47] 飞思科技产品研发中心编著，开发专家之数据库SQL Server 2000 XML应用开发，电子工业出版社，2001