摘要
二十世纪末,网络技术、数据库技术、图像处理技术、多媒体技术、海量信息存储技术、计算机软件技术等新技术的发展使互联网在硬件与资源内容上都得到了日益升级与壮大,并成为知识信息生产、传输与消费的强大驱动力。这些均使得网络在信息的数量、可获得性与应用都在迅猛地增加,同时人们的信息需求理念也发生了质的变化。由此对Web信息的知识挖掘研究逐渐成为了目前一个热门的研究课题。
知识挖掘已经被应用于很多领域,为了增加研究的深度,本文将研究重点放在了对Web信息的知识挖掘研究上。Web信息的知识挖掘研究是将知识挖掘理论应用于Web信息中从而获取知识的过程。本文通过对知识挖掘概念、技术和方法的探讨,在理论研究的基础上得出结论和方法,然后和实际应用(在本文中,我们是将它应用到企业客户关系管理中以获取企业客户知识)相联系,在实践中检验和证实理论的正确性。论文全文共分为五个部分:
第一部分,通过对Web信息资源特点的分析,以及传统的Web信息获取方法的分析,并结合现阶段的研究现状,阐明对Web信息进行知识挖掘研究的意义。
第二部分,简要的介绍了知识挖掘的基本概念,同时介绍了Web挖掘的概念、方法以及工具。
第三部分,详细的讨论了目前常用的知识挖掘技术(包括神经网络,决策树、集合论方法、遗传算法和聚类分析),并讨论了目前比较流行的知识挖掘工具。本部分所介绍的方法是知识挖掘的指导思想。
第四部分,首先对Web信息的知识挖掘进行分类。然后分别从三个方面(Web信息的内容挖掘、Web信息的结构挖掘和Web信息的使用记录挖掘)详细的分析了对Web信息进行知识挖掘的方法。最后,针对Web信息的特点,分析了XML技术在Web信息知识挖掘中应用。
第五部分,构建面向企业客户关系管理的知识挖掘应用.首先介绍了CRM的概念和发展现状,并分析了企业实施CRM的好处。然后将知识挖掘技术应用到企业CRM中去,挖掘出对企业有意义的客户知识从而指导企业战略规划和决策。最后进行案例分析,介绍了SAS知识挖掘的方法。
With the development of new technology (such as net, database, image processing, multimedia, massive information, computer software etc.), internet has got upgrade and grandness increasingly in the hardware and information content, and become a powerful driver of the knowledge produce, transfers and consume at the end of the 20th century. These make the rapid increase of information about the quantity, acquirement and application in the internet, furthermore the people's demands idea also qualitatively change. So the topic of knowledge mining in the Web information becomes gradually a hot research object.
Knowledge mining has been applied in many fields. My paper puts the emphases on the domain of Web information in order to increase the research depth. The research of knowledge mining in the Web information is the procession that knowledge mining's theory is applied by the way of getting Web knowledge. Through discussing its concept, theory and method of knowledge mining, I draw conclusions and methods based on the theory research, then connect the theory with the practice and proof its correctness in the practical application. My paper is composed of fine chapters:
Part 1, analyzes the character and the traditional search method of the Web information, combines with the research actuality, then presents the necessary of knowledge mining in Web information.
Part 2, briefly introduces the concept and development of the knowledge mining, and introduces the concept, method and tools of the Web mining.
Part 3, particularly analyzes the technology of knowledge mining (including Neural Networks, Decision Trees, Set Theory, Genetic Algorithm, Clustering) and discusses these tools of knowledge mining.
Part 4, firstly discusses the class of knowledge mining in Web information. Secondly it discusses the methods of knowledge mining in Web information in the three aspect (content mining, structure mining, log mining). Lastly it analyses the application of XML technology in the Web information's knowledge mining.
Part 5, building knowledge mining applications for CRM. Firstly it introduces the concept and development of CRM. Secondly it analyses the advantage of CRM. Thirdly it applies knowledge mining technique to CRM. And lastly case analyses, it introduces the knowledge mining method of SEMMA.
引文
[1]朱爱群,客户关系管理与数据挖掘,中国财政经济出版社,2001(P532~P544)
[2]何荣勤.CRM原理·设计·实践.电子工业出版社,2003(P29~P40)
[3]贺奇,郑岩,魏藜等.构建面向CRM的数据挖掘应用.人民邮电出版社,2001(P187~P200)
[4]汤兵勇.客户关系管理.高等教育出版社,2003(P72~P91)
[5]张云涛,龚玲.数据挖掘原理与技术.电子工业出版社,2004(P125~P142)
[6]沈钧毅,宋擒豹,燕彩蓉等.Web数据挖掘—将客户数据转化为客户价值.电子工业出版社,2004(P45~P84)
[7]朱扬勇,左子叶,张忠平等.数据挖掘实践.机械工业出版社,2003(P421~P460)
[8]陈文伟,黄金才,赵新昱擞据挖掘技术.北京工业大学出版社,2002(P134~P162)
[9]施建强,刘晓平.基于遗传算法的数据挖掘技术的研究.电脑与信息技术,2003(1)
[10]唐菁,张前,陈泓婕,刘宁,杨炳儒.基于Web的文本挖掘.计算机工程与应用,2002(21)
[11]王继成,潘金贵,张福炎.Web文本挖掘技术研究.计算机研究与发展,2000(5)
[12]邹涛,王继成等.基于WWW的资料搜集系统的设计与实现.情报学报,1999(3)
[13]韩家炜,孟小峰,王静,李盛恩.Web挖掘研究.计算机研究与发展.2001(4)
[14]李德毅.数据开采和知识发现研究的回顾与展望.产品与技术,2000(1)
[15]宋伟,王举成,马根峰,赵济林.Internet数据挖掘原理及实现.重庆邮电学院学报,2001(5)
[16]刘君.多媒体数据库的知识挖掘.株洲工学院学报,2003(2)
[17]王钰.图像、语音、自然语言理解与知识发觉.中国科学院院刊,2002(2)
[18]李文秀,刘志军.企业知识管理中的知识挖掘论.理论探讨,2002(9)
[19]沈达阳,孙茂松.万维网知识挖掘方法的研究.计算机科学,2000(2)
[20]张宗橙.网格、知识发掘、学习对象与XML绑定.南京有点学院学报,2002(3)
[21]马颂得,王钰.智能信息处理与知识挖掘.科技前沿与学术评论,2002(3)
[22]陈定权.Web结构挖掘研究.信息系统,2002(1)
[23]恽爽,韩立新,董浚,陈道蓄.KDW综述:基于Web的数据挖掘.计算机工程,2003(1)
[24]王实,高文,李锦涛.Web数据挖掘.计算机科学,2000(4)
[25]王玉珍.Web数据挖掘的分析与探索.电脑开发与应用,2003(4)
[26]李睿,李明.Web数据挖掘技术探讨.信息技术,2001(3)
[27]乔智勇,刘志镜.Web数据挖掘系统的设计及实现研究.计算机工程与设计,2002(7)
[28]罗新星,陈伟谋.Web挖掘在CRM中的应用研究.Computer Era,2003(1)
[29]陈定权.Web信息检索技术最新进展.现代图书情报技术,2002(2)
[30]左开中,汪伟.XML语言在Web数据挖掘中的应用.微机发展,2002(3)
[31]朱红,王兆锐,由颖.基于WEB的数据挖掘模型.沈阳工业大学学报,2002(1)
[32]施建强,刘晓平.基于遗传算法的数据挖掘技术的研究.电脑与信息技术,2003(1)
[33]黄连庆.高校图书馆开发利用网络信息资源的问题与对策.大学图书馆学报,2000(1)
[34]夏旭,李健康,方平.WWW网络信息资源搜索引擎的研究进展.图书馆论坛,2000(5)
[35]彭前卫.开发利用网络信息资源的原则与策略.图书馆论坛,2000(2)
[36]陈跃.网络环境下图书馆信息资源的开发与利用.福建图书馆学刊,2001(4)
[37]朱亚玲,程华.论网络环境下信息资源的共建与共享.四川图书馆学报,2001(6)
[38]潘卫.网络学术信息资源及其检索.东南大学出版社,2001
[39]李绍华.OLAP和数据挖掘技术在Web日志上的应用.现代计算机,1999(3)
[40] 陈卫华.数据挖掘在CRM中的应用.微型电脑应用,2001(10)
[41] 黄彬,童晓敏,唐任仲.网络时代CRM应用中的若干个关键技术.机电工程,2001(5)
[42] 齐海燕,郭伟,常明山.企业信息化市场的CRM系统框架及客户分析技术.现代制造工程,2002(3)
[43] 陈卫华,朱仲英.数据挖掘在CRM中的应用.微型电脑应用,2001(10)
[44] 潘伟.CRM系统在企业网络营销中的作用.中国流通经济,2001(2)
[45] 谢丹夏,李晓东.数据挖掘技术在Web上的应用及其工具设计.计算机应用,2001(2)
[46] 周斌,刘亚萍,吴泉源.一个面向电子商务的数据挖掘系统的实现.计算机工程,2000(6)
[47] 刘会霞.数据挖掘在CRM中的核心作用.互联网周刊,2002(2)
[48] 冯萍,宣慧玉.数据挖掘技术及其在营销中的应用.北京轻工业学院学报,2001(1)
[49] 常新功,贾伟.数据仓库技术在客户关系管理中的应用.山西财经大学学报,2001(6)
[50] Pirolli P, Schank Petal.Scatter/gather browsing communicates the topic structure of a very large text collection.In:Proc of the ACM SIGCHI Confon Human Factorsin Computing Systems. 1996. http://www.acm.org/sigs/sigchi/chi96/proceedings/papers/pirolli/pp-txt.htm
[51] ChoonYangQuek.Classification of world wide web documents[Senior Honors dissertation]. School of Computer Science,CamegieMellonUniversity, 1997
[52] HearstMA,PedersenJ.Reexamining the cluster hypothesis:Scatter/gather on retrieval results.In: Procofthe 19thArmualInt'lACM/SIGIRConf.Zurich, 1996
[53] WilletP.Recent trends in hierarchical document clustering:Acdticalreview.Information Processing and Management, 1988,24
[54] RocchioJJ.Document retrieval systems—Optimization and evaluation[PhDdissertation]. HarvardUniversity, Cambridge,MA, 1966
[55] CuttingDetal.Scatter/gather:Acluster-based approach to browsing large document collections.In: Procofthel 5thAnnualInt'IACM/SIGIRConf.Copenhagen, 1992
[56] BrinS.Extracting patterns and relations from the World Wide Web.In:Proc of Web DB Workshop at EDBT'98. Valencia,1998
[57] WangKe,LiuHuiqing.Schema discovery from semi-structureddata.In:Procofthe3rdInt'l ConfonKnowledge DiscoveryandDataMining.NewportBeach, 1997
[58] FeldmanR, DaganI.Knowledge discovery in textual databases(KDT).In:ProcofthelstInt'l ConfonKnowledge Discovery.Montreal, 1995
[59] WtlthrichB,PermunetiIlekeD,.LeungSetal.Daily prediction of majors tockindices from textual WWW data.In: Proc of the 4th Int'l Confon Knowledge Discovery.NewYork, 1998
[60] Brin S,Page L.The anatomy of a large-scale hypertextual Web search engine.In:Proc of 7th World Wide Web Conf (WWW'98).Brisbane,Australia, 1998
[61] Kleinberg J M.Authofitative sources in a hyperlinked environment.Journal of ACM, 1999(5)
[62] Gaede V, Guather O.Multdimensional access methods.ACMComputer Surv, 1998(1)
[63] Mobasher, N.Jain, E.Han, and J.Sdvastava. Web mining: Pattern discovery from world wide Web transactions. Technical Report TR 96-050, University of Minnesota, Dept. of Computer Science, Minneapolis, 1996.
[64] O.R.Zaiane and J.Han.Resource and knowledge discovery in global information systems: A preliminary design and experiment. In Proc.of the First Int'l Conference on Knowledge Discovery and Data Mining, Montreal, Quebec, 1995.
[65] 企业资源管理研究中心CRM研究小组http://crm.AMTeam.org
[66] CRM研究小组http://www.crmchina.com.cn
[67] 数据挖掘讨论组http://www.dmgroup.org.cn/
[68] 世界经理人网络http://www.cec.globalsources.com/
[69] IBM http://www-900.ibm.com/developerWorks/
[70] BEA http://www.bea.com
[71] Oracle http://www.oracle.com
[72] 中国互联网络信息资源调查报告http://tech.sina.com.cn/i/c/2001-09-11/84150.shtmIs
[73] 颜焱,胡恒胜,陈跃新.客户关系管理与数据挖掘技术综述http://www.ahetc.gov.cn/cit/200205/05.doc
[74] 林建.中国企业—艰难的CRM之路http://www.i-power.com.cn/ipower/erp/crm2/crm030108004.htm
[75] 宋利.知识发现与数据挖掘http://www.e-works.net.cn/ewkArticles/Category 111/Article 10705.htm
[76] 钟义信.知识管理:老树开新花还是新瓶装旧酒http://www.cies.org.ca/anicle_view.asp?docid=311
[77] 数据挖掘资料汇编http://www.dmgroup.org.cn/zs20.htm
[78] 吴少岩.知识挖掘是指什么?http://www.digitalearth.net.cn/debooks/de100/3-29.htm
[79] 创新是科学的本质和灵魂http://www.yzast.org/gxck/gxr55.htm
[80] 孟晓明.搜索引擎在网络信息挖掘中的应用http://www.google8.net/archives/000150.html
[81] 王培森.从Web挖到竞争情报http://www.21cnbj.com/industrynews/searchengine2003/2003-10-07-339.html
[82] 描述型数据挖掘http://www.dmgroup.org.cn/zs18.htm#b 12
[83] 遗传算法http://www.swarm.com.cn/new/yaochao2.htm
[84] CRM定义及典型功能http://cio.enet.com.cn/cio/in forcenter/A20021025220408.html
[85] CRM的内容http://www.powererm.com.cn/workcenter/crmshequ/ZhiShiYuanDi/upfile/zsyd-0003.htm
[86] 邓顺华.如何选择CRM软件http://www.ctiforum.com/factory/crm/www.powerise.com.cn/powefise03_0901.htm
[87] 江水.如何选择合适的CRMhttp://www.ccw.com.cn/htm/center/app/02_12_20_7.asp
[88] 应用CRM企业的优势http://www.powercrm.com.cn/workcenter/crmshequ/ZhiShiYuanDi/upfile/zsyd-0007.htm
[89] 使用数据挖掘,建立有益的客户关系http://www.spssgz.com.cn/application/crmbpwp.html
[90] 赵纪元.数据挖掘在CRM中的应用http://www.yesky.com/20010827/193836_1.shtml