证券公司数据仓库系统的研究
|
摘要
数据仓库是面向主题的、集成的、稳定的、随时间变化的数据集合，旨在支持管理者决策。数据仓库、联机分析处理和数据挖掘三个技术在国外已经取得了广泛的应用，而在我国的应用才刚刚起步。证券业作为我国较早应用信息技术的行业，已经建立了较完善的事务处理系统。多年的应用也使得证券公司积累了大量的数据，其中隐含着大量有价值的信息。如何利用这些数据，深层次地挖掘信息，为公司的决策服务，已成为证券公司的当务之急。
本文介绍了数据仓库技术的发展现状和基本原理，讨论了数据仓库技术在证券公司的应用意义；根据证券公司的数据特点和业务需求，提出证券公司数据仓库系统的总体框架；围绕股票行情数据分析这个主题，构建了一个数据仓库设计的实例，探索证券公司数据仓库的目标数据库结构的设计方法；深层次讨论了业务系统数据到数据仓库环境的ETL技术，并完成了一个利用DTS工具进行源数据导入的实例。
论文解决了证券公司建立数据仓库系统的基本问题，对证券公司在业务系统基础上组建数据仓库系统的理论和方法进行了深入的探讨，为数据仓库在证券公司的应用提供了基本理论依据和实践方法。
Data warehouse is storage of subject-oriented, integrated, non-volatile and time-variant data, with the purpose to support managers' decision-making. The technologies of data warehouse, OLAP and data mining have been widely applied in developed countries, whereas it is still in the beginning in China. Compared with other industries, securities industry takes the lead in adopting information technology and succeeded in building transaction process system. Several years of transaction system usage also accumulated a great deal of data including valuable information in securities companies. How to utilize these data and deeply discover unknown information to sever the decision-making is an important issue for securities companies.
This paper introduced the development and related theory of data warehouse, discussed the securities industry solution of data warehouse application; According to the characteristic and business demands of securities companies, the paper presented an architecture of securities data warehouse system, and introduced the function of each component; After describing the task of database structure design, this paper brought forward an example of database design around the object of stock quotation analysis; Moreover, as an emphasis, the interface of operational system and data warehouse environment, the ETL technology, was deeply discussed. An example of data transfer by DTS was presented.
This paper have partly solved the basic problems of data warehouse building in securities companies, deeply discussed the theory and method of securities companies to build data warehouse on the base of originally operational systems. This paper provided basis theory and practical method for data warehouse technology to be further applied to securities management decision.
本文介绍了数据仓库技术的发展现状和基本原理，讨论了数据仓库技术在证券公司的应用意义；根据证券公司的数据特点和业务需求，提出证券公司数据仓库系统的总体框架；围绕股票行情数据分析这个主题，构建了一个数据仓库设计的实例，探索证券公司数据仓库的目标数据库结构的设计方法；深层次讨论了业务系统数据到数据仓库环境的ETL技术，并完成了一个利用DTS工具进行源数据导入的实例。
论文解决了证券公司建立数据仓库系统的基本问题，对证券公司在业务系统基础上组建数据仓库系统的理论和方法进行了深入的探讨，为数据仓库在证券公司的应用提供了基本理论依据和实践方法。
Data warehouse is storage of subject-oriented, integrated, non-volatile and time-variant data, with the purpose to support managers' decision-making. The technologies of data warehouse, OLAP and data mining have been widely applied in developed countries, whereas it is still in the beginning in China. Compared with other industries, securities industry takes the lead in adopting information technology and succeeded in building transaction process system. Several years of transaction system usage also accumulated a great deal of data including valuable information in securities companies. How to utilize these data and deeply discover unknown information to sever the decision-making is an important issue for securities companies.
This paper introduced the development and related theory of data warehouse, discussed the securities industry solution of data warehouse application; According to the characteristic and business demands of securities companies, the paper presented an architecture of securities data warehouse system, and introduced the function of each component; After describing the task of database structure design, this paper brought forward an example of database design around the object of stock quotation analysis; Moreover, as an emphasis, the interface of operational system and data warehouse environment, the ETL technology, was deeply discussed. An example of data transfer by DTS was presented.
This paper have partly solved the basic problems of data warehouse building in securities companies, deeply discussed the theory and method of securities companies to build data warehouse on the base of originally operational systems. This paper provided basis theory and practical method for data warehouse technology to be further applied to securities management decision.
引文
[1] 黄梯云，管理信息系统，高等教育出版社，2000：25-32
[2] 高洪深，决策支持系统理论、方法与案例，清华大学出版社，广西科学技术出版社．2000：7-12
[3] http://www.ccw.com.cn
[4] Basic Concepts of a Data Warehouse, http://www.umanitoba.ca/campus/administrative_systems/database_technologies/warehouse/index.html
[5] 彭木根，数据仓库技术与实现，电子工业出版社，2002：12-14
[6] 王韬，许评，基于数据挖掘的税收决策支持系统的设计，管理科学，2003，16(1)：56-60
[7] 张定会，沈国华，黄志球，基于星型模式的OLAP工具的研究和设汁，计算机工程与设计，2002，23(11)：31-35
[8] 汪毅，朱顺泉，数据挖掘技术在客户关系管理中的应用研究，软科学，2003，17(2)：46-48
[9] 魏鑫，郭建胜，OLAP和数据挖掘一体化的航空维修信息分析系统，微机发展，2003，(13)：47-49
[10] 卢泽勇，蒋外文，张肖霞，数据挖掘在证券经纪人管理系统中的应用，探索与研究，2003，(11)：22-25
[11] 吴志鸿，数据挖掘技术在CRM中的应用，现代情报，2003，(7)：80-82
[12] 张娴，数据挖掘技术及其在金融领域的应用，金融教学与研究，2003，(4)：15-18
[13] 王晓红，高洪深，数据挖掘技术在大型超市中的应用研究，北方工业大学学报，2003，15(3)：31-35
[14] www.networkworld.com.cn
[15] SQL Server Books Online, http://msdn.microsoft.com/library/default.asp?url=/library/en-us/startsql/getstart_4fht.asp
[16] Whitepapers on SQL Server Tools, http://www.sql-server-performance.com/whitepapers.asp
[17] 万里云，数据仓库技术以及在证券业应用展望，现代图书情报技术，2002，(4)：64-68
[18] 朱晓武，证券经纪业务数据仓库设计，系统建设，January 2003：14-16
[19] 郭红丽，基于数据仓库的证券投资分析系统的分析与设计，电脑开发与应用，2002，15(5)：28-29
[20] [美]W.H.Inmon著，王志海，林友芳(译)，Building the Data Warehouse，机械工业出版社，2003：55-67
[21] Data Warehouse Design Considerations, http://download.microsoft.com/download/1/3/5/135c24c4-44bc-45a3-be5f-5e84271efOc4/DWdesign.doc
[22] 张德新，崔巍，蒋天发，基于数据仓库和数据挖掘的教育决策支持系统，武汉大学学报(工学版)，2003，36(4)：129-131
[23] Alexandre Konovalov, Object-Oriented Data Model for Data Warehouse, Lecture Notes in Computer Science, Volume 2435/2002:319
[24] Mokrane Bouzeghoub, Zoubida Kedad, A Logical Model for Data Warehouse Design and Evolution, Lecture Notes in Computer Science, Volume 1874/2000:178
[25] Zohra Bellahsene, Schema Evolution in Data Warehouses, Knowledge and Information Systems, 2002,4(3):283-304
[26] 萨师煊，王珊，数据库系统概论(第三版)，高等教育出版社，2000：174-182
[27] 中国证券业协会．证券投资分析，上海财经大学出版社，2002：12-15
[28] 张国利，吴建华，万庆萱，OLAP技术在股票行情分析中的研究和应用，微型电脑应用，2002，18(3)：32-34
[29] 李长树，田锋，证券公司数据仓库解决方案，计算机工程，2002，28(4)：189-191
[30] http://www.sse.com.cn/sseportal/ps/zhs/home.shtml
[31] 郑宏珍，韩静萍，数据仓库与数据挖掘技术异构平台，中国信息导报，2003(2)：53-55
[32] Kouba Zdenek, Matousek Kamil, Miksovsk(?), Petr, On Updating the Data Warehouse from Multiple Data Sources, Lecture Notes in Computer Science. 1998, Volume 1460:767
[33] 姜炜，ETL应用浅析，http://www.dwway.com
[34] Y. Cui, J. Widom, Lineage tracing for general data warehouse transformations, The VLDB Journal The International Journal on Very Large Data Bases, 2003,12(1): 41-58
[35] 朱耿斌，如何在实际中应用ETL，http://www.dwway.com
[36] Earls, Alan R., ETL: Preparation Is The Best Bet, Computerworld, 00104841. 8/25/2003, Vol.37, Issue 34
[37] 谈亮，刘艺，蒋丹丹，全面精通SQL Server2000，中国水利水电出版社， 2001：480-490，506-508
[38] 飞思科技产品研发中心，JSP应用开发详解，电子工业出版社，2002：284-295
[39] [美]Laura Lemay, Rogers Cadenhead, Java 2编程21天自学通，清华大学出版社，2002：434-440
[40] (韩)李载甲，崔在明，金民久，JSP完全探索，中国青年出版社，2001：201-205
[41] 连立贵，金凤，蔡家楣，数据仓库中的数据提取，计算机工程，2001，27(9)：61-62
[42] 吴悦，如何选择ETL工具，http://www.dwway.com
[43] Won Kim, Byoung -Ju Chod, Eui-Kyeong Hong, A Taxonomy of Dirty Data, Data Mining and Knowledge Discovery, 2003, (7): 81-99
[44] Dimitrios Georakopoulos, George Karabatis, Sridhar Gantimahapatruni, Specification and Management of Interdependent Data in Operational Systems and Data Warehouses, Distributed and Parallel Databases, 1997(5): 121-166
[45] Diego Calvanese, Giuseppe De Giacomo, Maurizio Lenzerini, Data Integration in Data Warehousing, International Journal of Cooperative Information Systems, Vol. 10, No. 3(2001): 237-271
[46] What to Learn About in Order to Speed Up Data Warehouse Loading, http://www.dwinfocenter.org
[47] 沈兆阳，Microsoft SQL Server 2000 OLAP解决方案——数据仓库与Analysis Servers，清华大学出版社，2001
[48] 北京吉泰克思计算机技术有限公司，中国上市公司资料库(1990-1999)(光盘)，中国人民大学出版社：1999
[2] 高洪深，决策支持系统理论、方法与案例，清华大学出版社，广西科学技术出版社．2000：7-12
[3] http://www.ccw.com.cn
[4] Basic Concepts of a Data Warehouse, http://www.umanitoba.ca/campus/administrative_systems/database_technologies/warehouse/index.html
[5] 彭木根，数据仓库技术与实现，电子工业出版社，2002：12-14
[6] 王韬，许评，基于数据挖掘的税收决策支持系统的设计，管理科学，2003，16(1)：56-60
[7] 张定会，沈国华，黄志球，基于星型模式的OLAP工具的研究和设汁，计算机工程与设计，2002，23(11)：31-35
[8] 汪毅，朱顺泉，数据挖掘技术在客户关系管理中的应用研究，软科学，2003，17(2)：46-48
[9] 魏鑫，郭建胜，OLAP和数据挖掘一体化的航空维修信息分析系统，微机发展，2003，(13)：47-49
[10] 卢泽勇，蒋外文，张肖霞，数据挖掘在证券经纪人管理系统中的应用，探索与研究，2003，(11)：22-25
[11] 吴志鸿，数据挖掘技术在CRM中的应用，现代情报，2003，(7)：80-82
[12] 张娴，数据挖掘技术及其在金融领域的应用，金融教学与研究，2003，(4)：15-18
[13] 王晓红，高洪深，数据挖掘技术在大型超市中的应用研究，北方工业大学学报，2003，15(3)：31-35
[14] www.networkworld.com.cn
[15] SQL Server Books Online, http://msdn.microsoft.com/library/default.asp?url=/library/en-us/startsql/getstart_4fht.asp
[16] Whitepapers on SQL Server Tools, http://www.sql-server-performance.com/whitepapers.asp
[17] 万里云，数据仓库技术以及在证券业应用展望，现代图书情报技术，2002，(4)：64-68
[18] 朱晓武，证券经纪业务数据仓库设计，系统建设，January 2003：14-16
[19] 郭红丽，基于数据仓库的证券投资分析系统的分析与设计，电脑开发与应用，2002，15(5)：28-29
[20] [美]W.H.Inmon著，王志海，林友芳(译)，Building the Data Warehouse，机械工业出版社，2003：55-67
[21] Data Warehouse Design Considerations, http://download.microsoft.com/download/1/3/5/135c24c4-44bc-45a3-be5f-5e84271efOc4/DWdesign.doc
[22] 张德新，崔巍，蒋天发，基于数据仓库和数据挖掘的教育决策支持系统，武汉大学学报(工学版)，2003，36(4)：129-131
[23] Alexandre Konovalov, Object-Oriented Data Model for Data Warehouse, Lecture Notes in Computer Science, Volume 2435/2002:319
[24] Mokrane Bouzeghoub, Zoubida Kedad, A Logical Model for Data Warehouse Design and Evolution, Lecture Notes in Computer Science, Volume 1874/2000:178
[25] Zohra Bellahsene, Schema Evolution in Data Warehouses, Knowledge and Information Systems, 2002,4(3):283-304
[26] 萨师煊，王珊，数据库系统概论(第三版)，高等教育出版社，2000：174-182
[27] 中国证券业协会．证券投资分析，上海财经大学出版社，2002：12-15
[28] 张国利，吴建华，万庆萱，OLAP技术在股票行情分析中的研究和应用，微型电脑应用，2002，18(3)：32-34
[29] 李长树，田锋，证券公司数据仓库解决方案，计算机工程，2002，28(4)：189-191
[30] http://www.sse.com.cn/sseportal/ps/zhs/home.shtml
[31] 郑宏珍，韩静萍，数据仓库与数据挖掘技术异构平台，中国信息导报，2003(2)：53-55
[32] Kouba Zdenek, Matousek Kamil, Miksovsk(?), Petr, On Updating the Data Warehouse from Multiple Data Sources, Lecture Notes in Computer Science. 1998, Volume 1460:767
[33] 姜炜，ETL应用浅析，http://www.dwway.com
[34] Y. Cui, J. Widom, Lineage tracing for general data warehouse transformations, The VLDB Journal The International Journal on Very Large Data Bases, 2003,12(1): 41-58
[35] 朱耿斌，如何在实际中应用ETL，http://www.dwway.com
[36] Earls, Alan R., ETL: Preparation Is The Best Bet, Computerworld, 00104841. 8/25/2003, Vol.37, Issue 34
[37] 谈亮，刘艺，蒋丹丹，全面精通SQL Server2000，中国水利水电出版社， 2001：480-490，506-508
[38] 飞思科技产品研发中心，JSP应用开发详解，电子工业出版社，2002：284-295
[39] [美]Laura Lemay, Rogers Cadenhead, Java 2编程21天自学通，清华大学出版社，2002：434-440
[40] (韩)李载甲，崔在明，金民久，JSP完全探索，中国青年出版社，2001：201-205
[41] 连立贵，金凤，蔡家楣，数据仓库中的数据提取，计算机工程，2001，27(9)：61-62
[42] 吴悦，如何选择ETL工具，http://www.dwway.com
[43] Won Kim, Byoung -Ju Chod, Eui-Kyeong Hong, A Taxonomy of Dirty Data, Data Mining and Knowledge Discovery, 2003, (7): 81-99
[44] Dimitrios Georakopoulos, George Karabatis, Sridhar Gantimahapatruni, Specification and Management of Interdependent Data in Operational Systems and Data Warehouses, Distributed and Parallel Databases, 1997(5): 121-166
[45] Diego Calvanese, Giuseppe De Giacomo, Maurizio Lenzerini, Data Integration in Data Warehousing, International Journal of Cooperative Information Systems, Vol. 10, No. 3(2001): 237-271
[46] What to Learn About in Order to Speed Up Data Warehouse Loading, http://www.dwinfocenter.org
[47] 沈兆阳，Microsoft SQL Server 2000 OLAP解决方案——数据仓库与Analysis Servers，清华大学出版社，2001
[48] 北京吉泰克思计算机技术有限公司，中国上市公司资料库(1990-1999)(光盘)，中国人民大学出版社：1999