数据仓库、数据挖掘技术在保险业中的应用与研究
|
摘要
数据仓库技术是信息领域中近年来出现并发展迅速的一种计算机技术，它可以对原始的操作数据进行各种处理，转换成有用信息，充分利用这些信息，分析并做出策略性的决策。数据挖掘技术是以数据库或数据仓库中存储的数据为基础，采用决策树、关联规则、聚类、神经网络等方法，从中提取有趣的知识、规律或高层信息。
作为传统数据处理密集型行业之一的保险业，随着业务的增长，面对大量历史数据和当前事务数据，构建数据仓库平台，挖掘其中蕴含的信息，进行信息分析和决策支持将成为信息化管理的主要组成步骤。
本文首先系统地介绍了数据仓库技术的基本概念、体系结构、物理数据库的设计以及基于数据仓库的数据挖掘算法和联机分析处理理论。通过对上述技术的研究，提出了河北人保数据仓库系统。该系统包括数据仓库模型构建，数据集成和数据挖掘算法应用。其中数据仓库模型从概念模型、逻辑模型和物理模型三个方面进行讨论。由于数据质量是数据仓库实施中的“瓶颈”，详细介绍了在数据集成中发现的问题以及解决方案。在数据挖掘算法应用部分，提出采用决策树来解决对客户行为分类问题和关联规则挖掘来解决交叉销售问题的方法。对于关联规则的增量更新问题，提出采用中间表中存储原数据集项集和新数据集项集的集合，然后在此集合上使用最小支持度进行剪枝，找到频繁集。这种方法无须对原数据集进行搜索，提高了算法的执行效率。
Data Warehouse ( DW ) is a new and advanced database technology, it has been developed very quickly in recent years. DW uses an effective way to operate a lot of data stored in the database or other files and transform them into useful information, then the decision-maker can have a great help in the decision-making process by analyzing these transformed information. Data Mining ( DM) is based on database or data warehousing. It can discover hidden patterns, interesting patterns and high information using decision tree, association rules, clustering, neural networks.
As the business developed, the PICC faces a lot of historical data and transaction data. How to sufficiently use these plentiful data to provide critical information for the PICC's governor, better survey for the business, has become an important thing. In order to solve this problem, I have proposed that construct the data warehouse platform, found the contained information to carry on information analysis and decision support.
This paper firstly discussed the conception, modeling and architecture of the Database Warehouse, the design of physical database as well as the Database Mining Technology and the On-line Analytical Processing. Through the study on above-mentioned technology, I provided the data warehouse system for the Hebei People's Insurance Company of China. It included the data warehouse model design, data integration, the application of data mining algorithms. The warehouse model of data was discussed from three aspects which were conceptual model, logic model and physical model. Because the quality of the data was " bottleneck" while implementing in the data warehouse, this paper has introduced the problem and solution found in the data integrate. In the application of data mining algorithms, I used the decision tree to solve the question of the customer behavior classifies and used association rule to solve the cross-selling question. As to solving related regular increments upgrade problem, stored the assembling itemset of the original data set and the new data set in the middle table. Then used minimum support to cut on the itemset, found the frequent set. This method needn't be collected and search for the original data again, improved the execution efficiency of the algorithm
作为传统数据处理密集型行业之一的保险业，随着业务的增长，面对大量历史数据和当前事务数据，构建数据仓库平台，挖掘其中蕴含的信息，进行信息分析和决策支持将成为信息化管理的主要组成步骤。
本文首先系统地介绍了数据仓库技术的基本概念、体系结构、物理数据库的设计以及基于数据仓库的数据挖掘算法和联机分析处理理论。通过对上述技术的研究，提出了河北人保数据仓库系统。该系统包括数据仓库模型构建，数据集成和数据挖掘算法应用。其中数据仓库模型从概念模型、逻辑模型和物理模型三个方面进行讨论。由于数据质量是数据仓库实施中的“瓶颈”，详细介绍了在数据集成中发现的问题以及解决方案。在数据挖掘算法应用部分，提出采用决策树来解决对客户行为分类问题和关联规则挖掘来解决交叉销售问题的方法。对于关联规则的增量更新问题，提出采用中间表中存储原数据集项集和新数据集项集的集合，然后在此集合上使用最小支持度进行剪枝，找到频繁集。这种方法无须对原数据集进行搜索，提高了算法的执行效率。
Data Warehouse ( DW ) is a new and advanced database technology, it has been developed very quickly in recent years. DW uses an effective way to operate a lot of data stored in the database or other files and transform them into useful information, then the decision-maker can have a great help in the decision-making process by analyzing these transformed information. Data Mining ( DM) is based on database or data warehousing. It can discover hidden patterns, interesting patterns and high information using decision tree, association rules, clustering, neural networks.
As the business developed, the PICC faces a lot of historical data and transaction data. How to sufficiently use these plentiful data to provide critical information for the PICC's governor, better survey for the business, has become an important thing. In order to solve this problem, I have proposed that construct the data warehouse platform, found the contained information to carry on information analysis and decision support.
This paper firstly discussed the conception, modeling and architecture of the Database Warehouse, the design of physical database as well as the Database Mining Technology and the On-line Analytical Processing. Through the study on above-mentioned technology, I provided the data warehouse system for the Hebei People's Insurance Company of China. It included the data warehouse model design, data integration, the application of data mining algorithms. The warehouse model of data was discussed from three aspects which were conceptual model, logic model and physical model. Because the quality of the data was " bottleneck" while implementing in the data warehouse, this paper has introduced the problem and solution found in the data integrate. In the application of data mining algorithms, I used the decision tree to solve the question of the customer behavior classifies and used association rule to solve the cross-selling question. As to solving related regular increments upgrade problem, stored the assembling itemset of the original data set and the new data set in the middle table. Then used minimum support to cut on the itemset, found the frequent set. This method needn't be collected and search for the original data again, improved the execution efficiency of the algorithm
引文
[1] 王珊．数据仓库技术与联机分析处理．北京：科学出版社．北京．1998．5
[2] 董祥军，李中军．数据仓库与传统数据库的区别及其关键问题．微型机与应用．2001．5 4-5
[3] 沈剑，石向星，贺贵明．数据仓库当前的行业应用状况分析．计算机工程．2001．10 10-12
[4] 王素玲，何志渔．数据仓库初探．现代计算机．2001．11 6-9
[5] 刘东坡．数据仓库技术的现状与未来．微型机与应用．2000．7 4-7
[6] W．H．Inmon．数据仓库．机械工业出版社．北京．2001
[7] 张维明 主编．数据仓库原理与应用．北京：电子工业出版社，2002．
[8] 王艳华．数据仓库的体系结构及其技术的探讨．电脑开发与应用．2001．274 11-12
[9] 周丽娟，邓颖等．数据仓库技术和OLAP研究．佳木斯大学学报．2001 Vol．19 No 3 223-227
[10] 尹晓晖．浅谈数据仓库的体系结构．计算机应用，2002．6：39-40
[11] 陈元佐．企业的数据仓库模型建立．贵州大学学报．2001．2 34-38
[12] 关俐，梁洪峻．数据仓库与数据挖掘．微型电脑应用．1999 Vol，15 No 9 17-20
[13] 吴岳强．数据仓库技术及其应用分析．江苏通信技术．2001．2 24-26
[14] 柳莺，赵艳红等．数据仓库技术研究和应用探讨．计算机应用．2001．2 46-47
[15] 李纲，陈颖．成功实施数据仓库的方法．武汉理工大学学报．2001 Vol．23 No 9 99-101
[16] 张宏鹏，赵新，李明等．数据仓库原形系统设计．计算机工程与应用．2000．11 109-111
[17] 任锦鸾，张闽，曾珍香，一种新型的数据库管理系统-数据仓库．河北工业大学．1999．6
[18] Edwin P.D.Pednault, Barry K.Rosen,and Chidanand Apte. Handing Imbalanced Data Sets in Insurance Risk Modeling. IBM Research Report RC-21731,March 10,2000
[19] http://www.cognos.com
[20] 韩家炜，Micheline Kamber著．数据挖掘：概念与技术．北京：机械工业出版社，2001．8
[21] 刘同明等编著．数据挖掘技术及应用．北京：国防工业出版社，2001．9
[22] 徐涛，李强．数据挖掘技术及其应用．广西工学院学报．2000．6 Vol．11 No 2 57-59
[11] 罗可，蔡碧野等．数据挖掘及其发展研究．计算机工程与应用．，2002．14：182-184
[23] 吉根林，帅克，孙志辉．数据挖掘技术及其应用．南京师大学报．2000 Vol．23 No 2 25-27
[24] 杨会志．数据挖掘技术的主要方法及其发展方向．河北科技大学．2000 Vol．21 No 3 77-80
[25] 吴少敏，冯建生．数据挖掘技术及其应用．冶金自动化．2001．6 5-8
[26] 吉根林，孙志挥．数据挖掘技术．中国图象图形学报．2001．8 716-721
[27] 余英泽，廖里，吴渝．一种新型数据分析技术—数据挖掘．计算机与现代化．2000．1 27-31
[28] 糜元根．数据挖掘方法的评述．南京化工大学学报．2001 Vol．23 No 5 105-109
[29] 李德毅．数据挖掘研究现状．http://www.dwway.com.cn
[30] Sushmita Mitra, Sankar K. Pal. Data Mining in Soft Computing Framework: A Survey. IEEE Transaction on NEURAL NETWORKS.VOL. 13. NO.1 JANUARY 2002 3-14
[31] JiaWei Han, Yongjian Fu. Mining Multiple-Level Association Rules in Large Databases. IEEE Transaction on KNOWLEDGE AND DATA ENGINEERING.VOL. 11. NO.5 1999 1-8
[32] Rakesh Agrawal, Ramakrishnan Srikant. Mining Sequential Patterns. IBM Almaden Research Center
[33] 周腾．数据挖掘：数据仓库构架的拓展．电脑与信息技术．2001．2 54-57
[34] 刘红岩，陈剑，陈国青．数据挖掘中的数据分类算法综述．清华大学学报．2002．VOL．42，No 6 727-730
[35] 马丽娜，刘弘，张希林．数据挖掘、OLAP在决策支持系统中的应用．计算机应用研究．2001．11 10-12
[36] 胡侃，夏绍玮．基于大型数据仓库的数据挖掘．软件学报．1998．9 53-63
[37] 商琳，骆斌．一种基于数据仓库的数据挖掘系统的结构框架．计算机应用研究．2000 63-65
[38] 刘震，邓苏，曹泽文．基于规则的数据仓库主题分析技术研究．计算机工程与应用，2002．12：195-198
[39] 林锦贤，沈钧毅．支持金融决策的数据仓库系统．计算机工程与应用，2001．8 92-93
[40] 李德勇，翟东升．面向证券分析的数据仓库系统研究．北京工业大学学报 2002 Vol 28 No 2 253-256
[41] 鲍玉昆，张金隆．基于DW的流通企业采购决策数据体系．计算机应用 2002 Vol 22 No 6：84-87
[42] Larry Bramblett.IDW-The Next Generation Data Warehouse.SUGI 27 Emerging Technologies
[43] 曹蓟光，王申康．基于数据仓库的综合知识发现系统的研究与应用．计算机应用研究 2001．3 68-70
[44] 王闯舟．数据仓库逻辑模型．http://www.dwway.com.cn
[45] 邓晓蓓，陈有青．面向客户数据仓库的数据集成方法．现代计算机，2002．5：42-44．
[46] 杨辅祥，刘云超，段智华．数据清理综述．计算机应用研究，2002．3：3-5
[47] 连立贵，金凤，蔡家楣．数据仓库中的数据提取．计算机工程．2001．9 61-62
[48] 王建芬，曹元大．数据仓库的数据维护及数据一致性的研究．计算机工程与应用，2002 11 205-206
[49] 李涛涛，李世祥．一种数据库数据型字段概念化算法的介绍及讨论．微型电脑应用，1999．Vol 15．No 11．24-25
[50] Data Cleaning Guide. Information Advantage Int' 1 1998
[51] Alex Berson,Stephen Smith,Kurt Thearling著．构建面向CRM的数据挖掘应用．北京：人民邮电出版社，2001．
[52] 朱玉怡．数据挖掘技术在财经领域的应用．电脑与信息技术．2000．4 58-61 Vol．28 No 3 57-60
[53] 唐华松，姚耀文．数据挖掘中决策树算法的探讨．计算机应用研究．2001．818-22]
[54] 蔡伟杰 张晓辉 朱建秋等钱峰．客户忠诚及其应用．技术经济与管理研究．2001．2：79-80
[55] 关联规则挖掘综述http://www.dmgroup.org.cn
[56]] D.W. Cheung, S.D.Lee, B.kao. A general incremental technique for maintaining discovered association rules. In: Proc. Of the fifth int'1 conf. On databases systems for advanced applications. Melbourne Australia,1997 April, 1-4
[57] D.W. Cheung, et al. Maintenance of discovered association rules in large database:an incremental updating.In: Proceeding of the 12 international conference on data engineering New Orleans Louisiana, 1995: 106-114
[58] 高峰，谢剑英．发现关联规则的增量式更新算法．计算机工程．2000．12
[59] 张仁平，卜淮原，胡志宇．关联规则挖掘快速更新算法的研究和实现．计算机工程与应用．2001．6 101-103
[60] 王翔，袁兆山．关联规则的扩展模型．小型微型计算机系统．2001．1 73-74
[2] 董祥军，李中军．数据仓库与传统数据库的区别及其关键问题．微型机与应用．2001．5 4-5
[3] 沈剑，石向星，贺贵明．数据仓库当前的行业应用状况分析．计算机工程．2001．10 10-12
[4] 王素玲，何志渔．数据仓库初探．现代计算机．2001．11 6-9
[5] 刘东坡．数据仓库技术的现状与未来．微型机与应用．2000．7 4-7
[6] W．H．Inmon．数据仓库．机械工业出版社．北京．2001
[7] 张维明 主编．数据仓库原理与应用．北京：电子工业出版社，2002．
[8] 王艳华．数据仓库的体系结构及其技术的探讨．电脑开发与应用．2001．274 11-12
[9] 周丽娟，邓颖等．数据仓库技术和OLAP研究．佳木斯大学学报．2001 Vol．19 No 3 223-227
[10] 尹晓晖．浅谈数据仓库的体系结构．计算机应用，2002．6：39-40
[11] 陈元佐．企业的数据仓库模型建立．贵州大学学报．2001．2 34-38
[12] 关俐，梁洪峻．数据仓库与数据挖掘．微型电脑应用．1999 Vol，15 No 9 17-20
[13] 吴岳强．数据仓库技术及其应用分析．江苏通信技术．2001．2 24-26
[14] 柳莺，赵艳红等．数据仓库技术研究和应用探讨．计算机应用．2001．2 46-47
[15] 李纲，陈颖．成功实施数据仓库的方法．武汉理工大学学报．2001 Vol．23 No 9 99-101
[16] 张宏鹏，赵新，李明等．数据仓库原形系统设计．计算机工程与应用．2000．11 109-111
[17] 任锦鸾，张闽，曾珍香，一种新型的数据库管理系统-数据仓库．河北工业大学．1999．6
[18] Edwin P.D.Pednault, Barry K.Rosen,and Chidanand Apte. Handing Imbalanced Data Sets in Insurance Risk Modeling. IBM Research Report RC-21731,March 10,2000
[19] http://www.cognos.com
[20] 韩家炜，Micheline Kamber著．数据挖掘：概念与技术．北京：机械工业出版社，2001．8
[21] 刘同明等编著．数据挖掘技术及应用．北京：国防工业出版社，2001．9
[22] 徐涛，李强．数据挖掘技术及其应用．广西工学院学报．2000．6 Vol．11 No 2 57-59
[11] 罗可，蔡碧野等．数据挖掘及其发展研究．计算机工程与应用．，2002．14：182-184
[23] 吉根林，帅克，孙志辉．数据挖掘技术及其应用．南京师大学报．2000 Vol．23 No 2 25-27
[24] 杨会志．数据挖掘技术的主要方法及其发展方向．河北科技大学．2000 Vol．21 No 3 77-80
[25] 吴少敏，冯建生．数据挖掘技术及其应用．冶金自动化．2001．6 5-8
[26] 吉根林，孙志挥．数据挖掘技术．中国图象图形学报．2001．8 716-721
[27] 余英泽，廖里，吴渝．一种新型数据分析技术—数据挖掘．计算机与现代化．2000．1 27-31
[28] 糜元根．数据挖掘方法的评述．南京化工大学学报．2001 Vol．23 No 5 105-109
[29] 李德毅．数据挖掘研究现状．http://www.dwway.com.cn
[30] Sushmita Mitra, Sankar K. Pal. Data Mining in Soft Computing Framework: A Survey. IEEE Transaction on NEURAL NETWORKS.VOL. 13. NO.1 JANUARY 2002 3-14
[31] JiaWei Han, Yongjian Fu. Mining Multiple-Level Association Rules in Large Databases. IEEE Transaction on KNOWLEDGE AND DATA ENGINEERING.VOL. 11. NO.5 1999 1-8
[32] Rakesh Agrawal, Ramakrishnan Srikant. Mining Sequential Patterns. IBM Almaden Research Center
[33] 周腾．数据挖掘：数据仓库构架的拓展．电脑与信息技术．2001．2 54-57
[34] 刘红岩，陈剑，陈国青．数据挖掘中的数据分类算法综述．清华大学学报．2002．VOL．42，No 6 727-730
[35] 马丽娜，刘弘，张希林．数据挖掘、OLAP在决策支持系统中的应用．计算机应用研究．2001．11 10-12
[36] 胡侃，夏绍玮．基于大型数据仓库的数据挖掘．软件学报．1998．9 53-63
[37] 商琳，骆斌．一种基于数据仓库的数据挖掘系统的结构框架．计算机应用研究．2000 63-65
[38] 刘震，邓苏，曹泽文．基于规则的数据仓库主题分析技术研究．计算机工程与应用，2002．12：195-198
[39] 林锦贤，沈钧毅．支持金融决策的数据仓库系统．计算机工程与应用，2001．8 92-93
[40] 李德勇，翟东升．面向证券分析的数据仓库系统研究．北京工业大学学报 2002 Vol 28 No 2 253-256
[41] 鲍玉昆，张金隆．基于DW的流通企业采购决策数据体系．计算机应用 2002 Vol 22 No 6：84-87
[42] Larry Bramblett.IDW-The Next Generation Data Warehouse.SUGI 27 Emerging Technologies
[43] 曹蓟光，王申康．基于数据仓库的综合知识发现系统的研究与应用．计算机应用研究 2001．3 68-70
[44] 王闯舟．数据仓库逻辑模型．http://www.dwway.com.cn
[45] 邓晓蓓，陈有青．面向客户数据仓库的数据集成方法．现代计算机，2002．5：42-44．
[46] 杨辅祥，刘云超，段智华．数据清理综述．计算机应用研究，2002．3：3-5
[47] 连立贵，金凤，蔡家楣．数据仓库中的数据提取．计算机工程．2001．9 61-62
[48] 王建芬，曹元大．数据仓库的数据维护及数据一致性的研究．计算机工程与应用，2002 11 205-206
[49] 李涛涛，李世祥．一种数据库数据型字段概念化算法的介绍及讨论．微型电脑应用，1999．Vol 15．No 11．24-25
[50] Data Cleaning Guide. Information Advantage Int' 1 1998
[51] Alex Berson,Stephen Smith,Kurt Thearling著．构建面向CRM的数据挖掘应用．北京：人民邮电出版社，2001．
[52] 朱玉怡．数据挖掘技术在财经领域的应用．电脑与信息技术．2000．4 58-61 Vol．28 No 3 57-60
[53] 唐华松，姚耀文．数据挖掘中决策树算法的探讨．计算机应用研究．2001．818-22]
[54] 蔡伟杰 张晓辉 朱建秋等钱峰．客户忠诚及其应用．技术经济与管理研究．2001．2：79-80
[55] 关联规则挖掘综述http://www.dmgroup.org.cn
[56]] D.W. Cheung, S.D.Lee, B.kao. A general incremental technique for maintaining discovered association rules. In: Proc. Of the fifth int'1 conf. On databases systems for advanced applications. Melbourne Australia,1997 April, 1-4
[57] D.W. Cheung, et al. Maintenance of discovered association rules in large database:an incremental updating.In: Proceeding of the 12 international conference on data engineering New Orleans Louisiana, 1995: 106-114
[58] 高峰，谢剑英．发现关联规则的增量式更新算法．计算机工程．2000．12
[59] 张仁平，卜淮原，胡志宇．关联规则挖掘快速更新算法的研究和实现．计算机工程与应用．2001．6 101-103
[60] 王翔，袁兆山．关联规则的扩展模型．小型微型计算机系统．2001．1 73-74
© 2004-2018 中国地质图书馆版权所有 京ICP备05064691号 京公网安备11010802017129号 地址：北京市海淀区学院路29号 邮编：100083 电话：办公室：(+86 10)66554848；文献借阅、咨询服务、科技查新：66554700 |