基于数据仓库的教务决策支持系统研究与实现
摘要
随着数据库系统的逐日运行,数据的规模将越来越庞大,这就需要各级管理人员能够根据各自权限的范围从大量复杂的业务数据中更加有效的分析提取可用的信息。从目前发展来看,数据处理的重点已从传统的业务过程的实现扩展到对业务数据的联机分析处理,并从中得到面向各种管理主题的统计和决策支持信息,决策支持系统应运而生。
随着数据仓库技术的成熟,出现了以数据仓库技术为核心,以联机分析处理技术(OLAP)和数据挖掘工具为手段建设决策支持系统(DSS)的可行方案。数据仓库技术、联机分析处理技术和数据挖掘技术对决策支持系统的有力支持使得它们成为当前决策支持系统研究的热点和重点问题。
本文对数据仓库的数据组织、结构及相关技术的发展进行了回顾,探讨基于数据仓库的决策支持系统体系结构的理论与难点,对设计方法、实施策略等数据仓库建设方面的关键问题进行研究。通过分析设计,提出结合高校教务管理实际的数据仓库设计和实施方案。并解决了在数据量大、数据分散、基础环境复杂的环境中抽取所需的数据,经过数据转换和清洗,完成按照预选定义好的数据仓库模型,将数据加载的工作。最后结合决策需求的目标,以业务分析为切入,选用Microsoft的SQL Server 2000和Analysis Services 2000构建数据仓库和对OLAP应用进行实现。同时运用多维关联规则挖掘中Apriori算法作为基础,在其部分细节上加入了一些自我的改进,从大量教学相关数据中挖掘出具有一定指导价值的管理规则。
通过本课题研究,建设科学合理的高校数据仓库,有效提高高校信息管理和数据利用的能力,加强高校管理决策的合理性和科学性,有着相当的现实意义。
With the rapid development of data system, the scale of data will be more and more tremendous, which imperatively need those managers at all levels capable to pick up the useful information from this complex data system within their range of function. At present, the emphases of data processing has been extended OLAP from the traditional operation, and moreover, the information aiming at management and decision-making are obtained as well, which produce the DSS.
By the development of DW, the available techniques of DSS centered on DW was appeared. Due to the function in decision support system, the techniques of data warehouse, OLAP and data mining become hot points in present research.
For the data warehouse, the paper makes a specific review on the organization and related techniques of it, explores its theoretical difficulties when applied to decision-making system, and furthermore, investigates the key issues involved the design and application method of it. Through various researches, the author puts forward a feasible plan on the application and design of data warehouse, which effectively solves the difficulties in distilling data, especially if those data are huge, separate and complex. After the transform and cleanout, the expected data model will be attained and the data can be loaded.
Finally, according to the demand of decision-making, started from the operation analysis, this dissertation applies SQL Server 2000 and Analysis Services 2000 to set up the data warehouse and implement OLAP. Meanwhile, based on Apriori, from large numbers of teaching data, the dissertation also extracts many valuable management regulations through adding a few self-improvements in operation details.
Through above discussions, this dissertation reveals the prominent practical value of a sound data warehouse system in improving the efficiency of information management, enhancing the ability of employing data and intensifying the rationality of college decision-making process.
随着数据仓库技术的成熟,出现了以数据仓库技术为核心,以联机分析处理技术(OLAP)和数据挖掘工具为手段建设决策支持系统(DSS)的可行方案。数据仓库技术、联机分析处理技术和数据挖掘技术对决策支持系统的有力支持使得它们成为当前决策支持系统研究的热点和重点问题。
本文对数据仓库的数据组织、结构及相关技术的发展进行了回顾,探讨基于数据仓库的决策支持系统体系结构的理论与难点,对设计方法、实施策略等数据仓库建设方面的关键问题进行研究。通过分析设计,提出结合高校教务管理实际的数据仓库设计和实施方案。并解决了在数据量大、数据分散、基础环境复杂的环境中抽取所需的数据,经过数据转换和清洗,完成按照预选定义好的数据仓库模型,将数据加载的工作。最后结合决策需求的目标,以业务分析为切入,选用Microsoft的SQL Server 2000和Analysis Services 2000构建数据仓库和对OLAP应用进行实现。同时运用多维关联规则挖掘中Apriori算法作为基础,在其部分细节上加入了一些自我的改进,从大量教学相关数据中挖掘出具有一定指导价值的管理规则。
通过本课题研究,建设科学合理的高校数据仓库,有效提高高校信息管理和数据利用的能力,加强高校管理决策的合理性和科学性,有着相当的现实意义。
With the rapid development of data system, the scale of data will be more and more tremendous, which imperatively need those managers at all levels capable to pick up the useful information from this complex data system within their range of function. At present, the emphases of data processing has been extended OLAP from the traditional operation, and moreover, the information aiming at management and decision-making are obtained as well, which produce the DSS.
By the development of DW, the available techniques of DSS centered on DW was appeared. Due to the function in decision support system, the techniques of data warehouse, OLAP and data mining become hot points in present research.
For the data warehouse, the paper makes a specific review on the organization and related techniques of it, explores its theoretical difficulties when applied to decision-making system, and furthermore, investigates the key issues involved the design and application method of it. Through various researches, the author puts forward a feasible plan on the application and design of data warehouse, which effectively solves the difficulties in distilling data, especially if those data are huge, separate and complex. After the transform and cleanout, the expected data model will be attained and the data can be loaded.
Finally, according to the demand of decision-making, started from the operation analysis, this dissertation applies SQL Server 2000 and Analysis Services 2000 to set up the data warehouse and implement OLAP. Meanwhile, based on Apriori, from large numbers of teaching data, the dissertation also extracts many valuable management regulations through adding a few self-improvements in operation details.
Through above discussions, this dissertation reveals the prominent practical value of a sound data warehouse system in improving the efficiency of information management, enhancing the ability of employing data and intensifying the rationality of college decision-making process.
引文
[1]彭木亘.数据仓库技术与实现[M].北京:电子工业出版社,2002.
[2]M.J.A.Berry,G.Linoff.Mastering Data Mining:The Art and Science of Customer Relationship Management[M].New York:John Wily&Sons.1999:53-59.
[3]董祥军,李中军.数据仓库与传统数据库的区别及其关键问题[J].微机与应用.2001(5):4-5.
[4]Mark Levene,George Loizou.Why is the Snowflake Schema a good Data Warehouse Design[J].Information System.2003(3):225-240.
[5]韩明华,张均良.数据仓库—有效的管理分析和决策工具[J].微机发展.1999(6):54-56.
[6]Zhen Liu , Minyi Guo.A Proposal of High Performance Data Mining System[M].Lecture Notes in Computer Science.2003(8):145-177.
[7]H. Inmon 著,王志海等译.数据仓库(原书第 3 版)[M].北京:机械工业出版社,2003.
[8]曹煜.高校教学质量测评系统的开发及数据仓库与数据挖掘技术在其中的应用[D].东北大学工程硕士论文 2005.
[9] 武森,高学东,M.巴斯蒂安著.数据仓库与数据挖掘[M].冶金工业出版社,2003.
[10]王珊编著.数据仓库技术和联机分析处理[M].北京:科学出版社,1995.
[11]陈孝卫,龙飞.基于数据仓库 OLAP 技术的属性相关性研究[J].计算机工程与应用.2004(14):9-191.
[12]施伯乐,汪卫.数据仓库与数据挖掘研究进展[J].计算机应用与软件.2003(20):11-12.
[13]杨光等.OLAP 技术及其发展[J].计算机应用研究.1999(7):7-10.
[14]Haijinder S.Gill et.数据仓库·客户/服务器指南[M].北京:清华大学出版社,1997.
[15]Rontogiannis A,Dimopulos NJ.A probabilistic approach for reducing the search cost in binary decision tree[M],Canada:IEEE Proc Rim’93,1993:27-31.
[16]康晓东.基于数据仓库的数据挖掘技术[M].北京:机械工业出版社,2004.
[17]邵峰晶,于忠清.数据挖掘原理与算法[M].北京:中国水利水电出版社,2003.
[18]袁红清,韩明华.管理信息系统.电子商务视角[M].上海:立信会计出版社,2003.
[19]石磊,石云.OLAP 与数据挖掘一体化模型的分析与讨论[J].小型微型计算机系统.2000(11):1208-1210.
[20]赵玉勇,吴永明.在决策支持系统中应用数据仓库技术的研究[J].计算机系统应用.1999(3):29-32.
[21] 黄 想 亮 . 构 建 基 于 数 据 仓 库 的 DSS[EB/01]. http://www.csai.cn/tech/analyze/dw.htm.2003.
[22]刘波.基于数据仓库的决策支持系统的研究与应用[D]. 西安建筑科技大学硕士学位论文 2001.
[23]王克龙.基于数据仓库的决策支持系统研究与实现[D].南京理工大学硕士学位论文 2004.
[24] 考 试 成 绩 正 态 分 布 检 验[EB/01].http://202.201.224.3/statistics/nd_test.php.
[25]刘应成.考试系统中成绩正态分布检验的设计与实现[J].重庆工学院学报.2004(12):188-189.
[26]范永刚.基于 Web 的集疏运数据仓库系统的研究与实现[D].大连理工大学硕士学位论文 2005.
[27]飞思科技产品研发中心.SQL Server 2000 OLAP 服务涉及与应用[M].北京:电子工业出版社,2002.
[28]沈兆阳编著.SQL Server 2000 OLAP 解决方案—数据仓库与 Analysis Services[M].北京:清华大学出版社,2001.
[29]韩明华.基于 Web 方式的数据仓库系统的研究与应用[D].南京工业大学硕士毕业论文 2005.
[30] 雷 柏 先 . 数 据 仓 库 系 列 支 撑 技 术 概 览[EB/01].http://tech.csai.cn/dbms/200604181056361963.htm,2006-4-18
[31]曹丹阳.数据挖掘在教务系统中的应用研究[D].北方工业大学硕士毕业论文2006.
[32]Chen L D , Tour S.Data mining methods application and tools[J].Information System Management.2000.17(1):65-70.
[33]Lin TY.Data mining and machine oriented modeling:a granular computing approach[J].Applied Intelligence.2000.13(2):113-124.
[34]Mehmed Kantardzic.数据挖掘-概念、模型、方法和算法[M].北京:清华大学出版社,2003.
[35]袁长河,吴永明.基于数据仓库的决策支持系统研究与建设[J].计算机工程与应用.2001.37:101-103.
[36]Jiawei Han,Micheline Kamber.Data Mining concepts and techniques[M].北京:机械工业出版社,2003.
[37]芦洁,刘志镜.挖掘关联规则中对 Apriori 算法的一个改进[J].微电子学与计算机.2006.23(2):10-12.
[38]刘金荣.关联规则的挖掘及其在商业决策中的应用研究[D].武汉理工大学硕士学位论文.
[39]柳芳.教育信息资源开发的当务之急[J].教育研究.1997.5:27-30.
[40]曲春锦.Apriori-Tids 算法设计及其在教育决策信息挖掘中的应用[D].上海海事大学硕士学位论文.
[2]M.J.A.Berry,G.Linoff.Mastering Data Mining:The Art and Science of Customer Relationship Management[M].New York:John Wily&Sons.1999:53-59.
[3]董祥军,李中军.数据仓库与传统数据库的区别及其关键问题[J].微机与应用.2001(5):4-5.
[4]Mark Levene,George Loizou.Why is the Snowflake Schema a good Data Warehouse Design[J].Information System.2003(3):225-240.
[5]韩明华,张均良.数据仓库—有效的管理分析和决策工具[J].微机发展.1999(6):54-56.
[6]Zhen Liu , Minyi Guo.A Proposal of High Performance Data Mining System[M].Lecture Notes in Computer Science.2003(8):145-177.
[7]H. Inmon 著,王志海等译.数据仓库(原书第 3 版)[M].北京:机械工业出版社,2003.
[8]曹煜.高校教学质量测评系统的开发及数据仓库与数据挖掘技术在其中的应用[D].东北大学工程硕士论文 2005.
[9] 武森,高学东,M.巴斯蒂安著.数据仓库与数据挖掘[M].冶金工业出版社,2003.
[10]王珊编著.数据仓库技术和联机分析处理[M].北京:科学出版社,1995.
[11]陈孝卫,龙飞.基于数据仓库 OLAP 技术的属性相关性研究[J].计算机工程与应用.2004(14):9-191.
[12]施伯乐,汪卫.数据仓库与数据挖掘研究进展[J].计算机应用与软件.2003(20):11-12.
[13]杨光等.OLAP 技术及其发展[J].计算机应用研究.1999(7):7-10.
[14]Haijinder S.Gill et.数据仓库·客户/服务器指南[M].北京:清华大学出版社,1997.
[15]Rontogiannis A,Dimopulos NJ.A probabilistic approach for reducing the search cost in binary decision tree[M],Canada:IEEE Proc Rim’93,1993:27-31.
[16]康晓东.基于数据仓库的数据挖掘技术[M].北京:机械工业出版社,2004.
[17]邵峰晶,于忠清.数据挖掘原理与算法[M].北京:中国水利水电出版社,2003.
[18]袁红清,韩明华.管理信息系统.电子商务视角[M].上海:立信会计出版社,2003.
[19]石磊,石云.OLAP 与数据挖掘一体化模型的分析与讨论[J].小型微型计算机系统.2000(11):1208-1210.
[20]赵玉勇,吴永明.在决策支持系统中应用数据仓库技术的研究[J].计算机系统应用.1999(3):29-32.
[21] 黄 想 亮 . 构 建 基 于 数 据 仓 库 的 DSS[EB/01]. http://www.csai.cn/tech/analyze/dw.htm.2003.
[22]刘波.基于数据仓库的决策支持系统的研究与应用[D]. 西安建筑科技大学硕士学位论文 2001.
[23]王克龙.基于数据仓库的决策支持系统研究与实现[D].南京理工大学硕士学位论文 2004.
[24] 考 试 成 绩 正 态 分 布 检 验[EB/01].http://202.201.224.3/statistics/nd_test.php.
[25]刘应成.考试系统中成绩正态分布检验的设计与实现[J].重庆工学院学报.2004(12):188-189.
[26]范永刚.基于 Web 的集疏运数据仓库系统的研究与实现[D].大连理工大学硕士学位论文 2005.
[27]飞思科技产品研发中心.SQL Server 2000 OLAP 服务涉及与应用[M].北京:电子工业出版社,2002.
[28]沈兆阳编著.SQL Server 2000 OLAP 解决方案—数据仓库与 Analysis Services[M].北京:清华大学出版社,2001.
[29]韩明华.基于 Web 方式的数据仓库系统的研究与应用[D].南京工业大学硕士毕业论文 2005.
[30] 雷 柏 先 . 数 据 仓 库 系 列 支 撑 技 术 概 览[EB/01].http://tech.csai.cn/dbms/200604181056361963.htm,2006-4-18
[31]曹丹阳.数据挖掘在教务系统中的应用研究[D].北方工业大学硕士毕业论文2006.
[32]Chen L D , Tour S.Data mining methods application and tools[J].Information System Management.2000.17(1):65-70.
[33]Lin TY.Data mining and machine oriented modeling:a granular computing approach[J].Applied Intelligence.2000.13(2):113-124.
[34]Mehmed Kantardzic.数据挖掘-概念、模型、方法和算法[M].北京:清华大学出版社,2003.
[35]袁长河,吴永明.基于数据仓库的决策支持系统研究与建设[J].计算机工程与应用.2001.37:101-103.
[36]Jiawei Han,Micheline Kamber.Data Mining concepts and techniques[M].北京:机械工业出版社,2003.
[37]芦洁,刘志镜.挖掘关联规则中对 Apriori 算法的一个改进[J].微电子学与计算机.2006.23(2):10-12.
[38]刘金荣.关联规则的挖掘及其在商业决策中的应用研究[D].武汉理工大学硕士学位论文.
[39]柳芳.教育信息资源开发的当务之急[J].教育研究.1997.5:27-30.
[40]曲春锦.Apriori-Tids 算法设计及其在教育决策信息挖掘中的应用[D].上海海事大学硕士学位论文.