数据预处理技术在电厂中的应用
|
摘要
本文分析了电力行业中数据的利用状况，探讨了数据挖掘技术在电力行业的应用现状，认为在电力行业中，数据挖掘技术有着广阔的发展空间和前景。
本文论述了数据预处理技术在数据挖掘过程中的重要性，介绍了数据预处理技术所包含的内容和采用的方法，并介绍了数据预处理的几种算法，归纳了连续数据离散化的一些方法。本文首次尝试将数据预处理技术应用到凝汽器故障模式识别的数据挖掘过程中，开发了一个为凝汽器故障模式识别BP神经网络算法作数据准备的数据预处理系统。
本文对数据预处理技术中的数据归约技术之一—主成分分析法进行了深入研究，将其应用于电厂DCS数据分析中，用几个综合指标代替原始多个数据指标，抓住主要信息使问题得以简化。同时提出了用主成分综合评价法对电厂机组经济性能进行综合评价的新设想，用一个综合评价函数来评价机组经济性能，弥补了用单项经济指标对机组经济性评价的片面性，试验效果较好。
This paper analyzes the applied actuality of data in the electric power industry usses the current status of data mining in the electric power system,and find that there is a most widely space among the development of data mining technology in the field of the electric power system.
This paper discusses the main role of data preprocessing, introduces the components and methods of data preprocessing and several data preprocessing arithmetics ,and induces some methods of sequence data discretization.In the paper, data preprocessing is firstly applied to data mining process about the condenser fault pattern recognition, and developed a data preprocessing systems for data preparation of the condenser fault pattern recognition BP networks.
This paper futher studies one of data reduction- principal component analysis, applies it to DCS data analysis in thermal power plant, and at the same time puts forward a new assume that PCA comprehensive evaluation is applied to comprehensive evaluation of economic results of thermal power plant ,that uses a comprehensive evaluation function to evaluate the economic performance ,so it makes up the one-sidedness of using single economic index to evaluate.The test verifies that it is drastically effective.
本文论述了数据预处理技术在数据挖掘过程中的重要性，介绍了数据预处理技术所包含的内容和采用的方法，并介绍了数据预处理的几种算法，归纳了连续数据离散化的一些方法。本文首次尝试将数据预处理技术应用到凝汽器故障模式识别的数据挖掘过程中，开发了一个为凝汽器故障模式识别BP神经网络算法作数据准备的数据预处理系统。
本文对数据预处理技术中的数据归约技术之一—主成分分析法进行了深入研究，将其应用于电厂DCS数据分析中，用几个综合指标代替原始多个数据指标，抓住主要信息使问题得以简化。同时提出了用主成分综合评价法对电厂机组经济性能进行综合评价的新设想，用一个综合评价函数来评价机组经济性能，弥补了用单项经济指标对机组经济性评价的片面性，试验效果较好。
This paper analyzes the applied actuality of data in the electric power industry usses the current status of data mining in the electric power system,and find that there is a most widely space among the development of data mining technology in the field of the electric power system.
This paper discusses the main role of data preprocessing, introduces the components and methods of data preprocessing and several data preprocessing arithmetics ,and induces some methods of sequence data discretization.In the paper, data preprocessing is firstly applied to data mining process about the condenser fault pattern recognition, and developed a data preprocessing systems for data preparation of the condenser fault pattern recognition BP networks.
This paper futher studies one of data reduction- principal component analysis, applies it to DCS data analysis in thermal power plant, and at the same time puts forward a new assume that PCA comprehensive evaluation is applied to comprehensive evaluation of economic results of thermal power plant ,that uses a comprehensive evaluation function to evaluate the economic performance ,so it makes up the one-sidedness of using single economic index to evaluate.The test verifies that it is drastically effective.
引文
[1] P K Kalra，R M Mathur. Investigations for Developing Expert systems for Power System Control[J].Electric Machines and power Systems，1987，265一274.
[2] P Brierley，B Batty.Neural Data Mining and Modeling for Electric Load prediction[A].IEE Colloquinm on Knowledge Discovery and Data Mining，1998，6/1.
[3] S Madan，K E Bollinger.Artificial Intelligence Assisted Voltage Stability Enhancement[A].Canadian Conference on Electrical and Computer Engineering，1996(l):392-395.
[4] J A Steele，J R McDonald，C D’Arcy. Knowledge Discovery in Databases: Application in the Electrical power Engineering Domain[A]，IEE Colloquinm on IT Stragegies for Information overload，1997(340):8/1~8/4.
[5] D G EsP，A J McGrail. Data Mining Applied to Transformer Oil Analys is Data[A]. IEE Colloquium on Insulating liquids，1999(119):9/1~9/7.
[6] B D pitt，D S Kitschen Application of Data Mining Techniques to Load profiling，Power Industry Computer Applications，PICA’99[A].Proceedings or the 21st 1 999 IEEE International Conference,1999:131~136
[7] Slorna M,et al,Data mining in a power company customer database[J],Electric Power System Research,2000,55(3).
[8] 于将．配电故障统计分析系统及其管理对策．华北电力技术．2000,6:11-15
[9] 李杨，王治华，卢毅.SAS在电力负荷特性分析及预测方面的应用.中国电力.
2002,6:43-47
[10] D.Pyle,Data Preparation for Data Mining,Morgan Kaufmann,(1999)
[11] www.informatica.com
[12] www.ibm.com
[13] Madan S，Son W K，Bollinger K E. Applications of Data Mining for Power Systems.In:Proceedings of 1997 IEEE Canadian Conference on Electrical and
Computer Engineering(CCECE，97).Canada:1997.403~ 406
[14] Ordieres Mere J，Ortega F，Bello A，et al.operational Information System in a Power Plant.In : Proceedings of the IEEE International Conference on Systems，Man and Cybernetics，ComPutational Cybernetics and Simulation.Orlando(USA):1997.3285~3288
[15] Steele J A，McDonald J R，D’Arcy C. Knowledge Discovery in
Databases:Applications in the Electrical Power Engineering Domain.IEE Colloquium(Digest)，1997(340)
[16] 冯德群，刘勇利，刘强.火电机组经济性分析仿真模型的模块化.计算机仿真.2002年11月第19卷第6期：72-74
[17] 王致杰，王耀才，李冬.现代大型设备故障智能诊断技术的现状与展望.煤矿机械.2003年第7期:102-104
[18] 于江.数据挖掘在电厂中的应用.硕士学位论文.华北电力大学(北京).2003年2月
[19] 蒲 莹.汽轮发电机故障在线综合诊断系统的研究.硕士研究生.华北电力大学（北京）.2001年9月
[20] 廖志伟，孙雅明.数据挖掘技术及其在电力系统中的应用.电力系统自动化.2000年第11期：62-66
[21] 范明，孟小峰.数据挖掘概念与技术[M].北京:机械工业出版社，2001
[22] 陈坚红,任浩仁,盛德仁,李蔚.基于汽轮机运行监测数据的知识发现和数据挖掘初探. 浙江电力.2001年第6期:7-10
[23] 高智，徐政. 数据挖掘技术在电力系统中的应用.华东电力.2001(12)：4－7
[24] 于恒兰.综合评价的多元分析方法.统计研究.1993(6)
[25] David Hand,Heikki Mannila,Padhraic Smyth著，张银奎，廖丽，宋俊等译.数据挖掘原理.北京.机械工业出版社.2003年4月
[26] Paw1akZ.Roughsets.Int.JcomPut.Inf.Sci.，1982(11):341一356.
[27] PawlakZ.Rough classification.Int.J.Man-Mach.Stud，1984(20):469-483
[28] Lu Hongjun.On Preprocessing Data for Effective Classification. Department of Information Systems and Computer Science,NUS
[29] 王志海，胡可云等.基于粗糙集合理论的知识发现综述.模式识别和人工智能，1998，11（2）：346-351
[30] 王珏，苗夺谦等.关于Rough Set理论与应用的综述.模式识别和人工智能，1996，9（4）：337-344
[31] 曾黄麟.粗集理论及其应用.重庆：重庆大学出版社，1998
[32] 王珏，王任，等.基于Rough Set理论的“数据浓缩” .计算机学报，1998，21（5）：393-400
[33] Ziarko W ,Shan N. KDD-R A Comprehensive System for Knowledge Discovery In Databases Using Rough Sets.In Lin T Y,Wildberger A M,eds.Soft Computing.San Diego,CA;Simulation Councils,Inc,1995.298-301
[34] 王永茂. 粗糙集理论在燃煤发热量预测中的应用研究.硕士学位论文.华北电力大学（北京）.2003年2月
[35] 陈文伟.智能决策技术.电子工业出版社.1998
[36] 张剑平，任德官，任福继.大规模特征提取问题的算法研究.清华大学学报，1998，38（7）：154-156
[37] 邹雯，陈文伟.数据开采中的遗传算法.计算机世界报.1997,24期专期版
[38] 黄金才，陈文伟.遗传算法和模糊神经网络在数据挖掘中的应用.清华大学学报，1998，38（7）：50-54
[39] 高毅龙.数据挖掘及其在工程诊断中的应用.西安交通大学博士学位论文，2000
[40] 靳涛.数据挖掘及在电厂凝汽设备诊断中的应用.华北电力大学（北京）硕士学位论文.2003年1月
[41] 王 军，史忠植，梁永全.基于值差别度量的连续属性离散化方法.清华大学学报(自然科学版)(增刊) 1998.07
[42] Hu A.H.,Cercone N.Learning in Relation Databases: a Rough Set Approach. Computational Intelligence,1995,11(2).323-338.
[43] 吴章华，高学东，于杰琼．数据分析的预处理技术．计算机科学．1999（10）
：117-119
[44] 刘莉，徐玉生，马志新．数据挖掘中数据预处理技术综述．甘肃科学学报．
2003(3):117-119
[45] 刘越江,黄今慧.数据挖掘中的数据预处理技术．科技情报开发与经济．2003(5):170-171
[46] 于青子.具有明确语义的关联规则挖掘系统的研究与实现.硕士学位论文.河海大学.2002年3月：32-33
[47] 肖勃雷，王诚.KDD中的数据预处理技术—相关性分析.计算机工程与应用.
1999(3):70-71
[48] 李辉、杨增辉、周海洋、严璋. 快速滤波算法用于在线监测数据预处理.高电压技术.2002年第7期：30-37
[49] 张小平,马垣.KDD中的数据清理技术研究.鞍山科技大学学报.2003第4期：87-89
[50] 邵峰晶，于忠清.数据挖掘－原理与算法.北京：中国水利水电出版社，2003年8月：68-91
[51] lu Hongjun,Setiono Rudy,Liu Huan.Effective data mining using neural networks.IEEE Transaction on Knowledge and Data Engineer,1996:8(6)957-961
[52] 宋擒豹，沈钧毅.神经网络数据挖掘方法中的数据准备问题.计算机工程与应用.2000.12 :102-104
[53] 孙涛.数据挖掘中数据预处理的研究和实现.硕士论文.东北大学.2001
[54] 汽轮机运行规程，内蒙古蒙达发电有限责任公司
[55] 300MW级火力发电机组集控运行典型规程，华北电力集团公司
[56] J EDWARD JACKSON.Principal Components and Factor Analysis:Partl Principal Components.Journal of Quality Technology,1980,12(4)
[57] 唐懿芳，钟达夫.主成分分析方法对数据进行预处理.广西师范大学学报.2002，223～225
[58] Chen,M.S.,Han,J.,Yu,P.S. Data Mining: An Overview from a Database Perspective. IEEE Transactions on Knowledge and Data Engineering,1996(Dec)
,pp.866-883
[59] 柯惠新,黄京华,沈浩. 调查研究中的统计分析法. 北京:北京广播学院出版社, 1992.7:473-475
[60] 苏为华.多指标综合评价理论与方法问题研究.博士学位论文.厦门大学.2000年9月
[61] 赵英，张甲珩，程学建，贺海均，霍跃荣.多元统计分析在中国高新技术产业开发区综合评价中的应用.包头钢铁学院学报.2002(3):86-93
[62] 王淑芬.天津纺织工业综合竞争力的分析与比较.硕士学位论文.天津工业大学.2001年7月
[63] 李靖华，郭耀煌.主成分分析用于多指标评价的方法研究——主成分评价.
管理工程学报.2002(1):39-44
[64] 李艳双，曾珍香，张闵，于树江.主成分分析法在多指标综合评价方法中的应用.河北工业大学学报.1999(1):94-97
[2] P Brierley，B Batty.Neural Data Mining and Modeling for Electric Load prediction[A].IEE Colloquinm on Knowledge Discovery and Data Mining，1998，6/1.
[3] S Madan，K E Bollinger.Artificial Intelligence Assisted Voltage Stability Enhancement[A].Canadian Conference on Electrical and Computer Engineering，1996(l):392-395.
[4] J A Steele，J R McDonald，C D’Arcy. Knowledge Discovery in Databases: Application in the Electrical power Engineering Domain[A]，IEE Colloquinm on IT Stragegies for Information overload，1997(340):8/1~8/4.
[5] D G EsP，A J McGrail. Data Mining Applied to Transformer Oil Analys is Data[A]. IEE Colloquium on Insulating liquids，1999(119):9/1~9/7.
[6] B D pitt，D S Kitschen Application of Data Mining Techniques to Load profiling，Power Industry Computer Applications，PICA’99[A].Proceedings or the 21st 1 999 IEEE International Conference,1999:131~136
[7] Slorna M,et al,Data mining in a power company customer database[J],Electric Power System Research,2000,55(3).
[8] 于将．配电故障统计分析系统及其管理对策．华北电力技术．2000,6:11-15
[9] 李杨，王治华，卢毅.SAS在电力负荷特性分析及预测方面的应用.中国电力.
2002,6:43-47
[10] D.Pyle,Data Preparation for Data Mining,Morgan Kaufmann,(1999)
[11] www.informatica.com
[12] www.ibm.com
[13] Madan S，Son W K，Bollinger K E. Applications of Data Mining for Power Systems.In:Proceedings of 1997 IEEE Canadian Conference on Electrical and
Computer Engineering(CCECE，97).Canada:1997.403~ 406
[14] Ordieres Mere J，Ortega F，Bello A，et al.operational Information System in a Power Plant.In : Proceedings of the IEEE International Conference on Systems，Man and Cybernetics，ComPutational Cybernetics and Simulation.Orlando(USA):1997.3285~3288
[15] Steele J A，McDonald J R，D’Arcy C. Knowledge Discovery in
Databases:Applications in the Electrical Power Engineering Domain.IEE Colloquium(Digest)，1997(340)
[16] 冯德群，刘勇利，刘强.火电机组经济性分析仿真模型的模块化.计算机仿真.2002年11月第19卷第6期：72-74
[17] 王致杰，王耀才，李冬.现代大型设备故障智能诊断技术的现状与展望.煤矿机械.2003年第7期:102-104
[18] 于江.数据挖掘在电厂中的应用.硕士学位论文.华北电力大学(北京).2003年2月
[19] 蒲 莹.汽轮发电机故障在线综合诊断系统的研究.硕士研究生.华北电力大学（北京）.2001年9月
[20] 廖志伟，孙雅明.数据挖掘技术及其在电力系统中的应用.电力系统自动化.2000年第11期：62-66
[21] 范明，孟小峰.数据挖掘概念与技术[M].北京:机械工业出版社，2001
[22] 陈坚红,任浩仁,盛德仁,李蔚.基于汽轮机运行监测数据的知识发现和数据挖掘初探. 浙江电力.2001年第6期:7-10
[23] 高智，徐政. 数据挖掘技术在电力系统中的应用.华东电力.2001(12)：4－7
[24] 于恒兰.综合评价的多元分析方法.统计研究.1993(6)
[25] David Hand,Heikki Mannila,Padhraic Smyth著，张银奎，廖丽，宋俊等译.数据挖掘原理.北京.机械工业出版社.2003年4月
[26] Paw1akZ.Roughsets.Int.JcomPut.Inf.Sci.，1982(11):341一356.
[27] PawlakZ.Rough classification.Int.J.Man-Mach.Stud，1984(20):469-483
[28] Lu Hongjun.On Preprocessing Data for Effective Classification. Department of Information Systems and Computer Science,NUS
[29] 王志海，胡可云等.基于粗糙集合理论的知识发现综述.模式识别和人工智能，1998，11（2）：346-351
[30] 王珏，苗夺谦等.关于Rough Set理论与应用的综述.模式识别和人工智能，1996，9（4）：337-344
[31] 曾黄麟.粗集理论及其应用.重庆：重庆大学出版社，1998
[32] 王珏，王任，等.基于Rough Set理论的“数据浓缩” .计算机学报，1998，21（5）：393-400
[33] Ziarko W ,Shan N. KDD-R A Comprehensive System for Knowledge Discovery In Databases Using Rough Sets.In Lin T Y,Wildberger A M,eds.Soft Computing.San Diego,CA;Simulation Councils,Inc,1995.298-301
[34] 王永茂. 粗糙集理论在燃煤发热量预测中的应用研究.硕士学位论文.华北电力大学（北京）.2003年2月
[35] 陈文伟.智能决策技术.电子工业出版社.1998
[36] 张剑平，任德官，任福继.大规模特征提取问题的算法研究.清华大学学报，1998，38（7）：154-156
[37] 邹雯，陈文伟.数据开采中的遗传算法.计算机世界报.1997,24期专期版
[38] 黄金才，陈文伟.遗传算法和模糊神经网络在数据挖掘中的应用.清华大学学报，1998，38（7）：50-54
[39] 高毅龙.数据挖掘及其在工程诊断中的应用.西安交通大学博士学位论文，2000
[40] 靳涛.数据挖掘及在电厂凝汽设备诊断中的应用.华北电力大学（北京）硕士学位论文.2003年1月
[41] 王 军，史忠植，梁永全.基于值差别度量的连续属性离散化方法.清华大学学报(自然科学版)(增刊) 1998.07
[42] Hu A.H.,Cercone N.Learning in Relation Databases: a Rough Set Approach. Computational Intelligence,1995,11(2).323-338.
[43] 吴章华，高学东，于杰琼．数据分析的预处理技术．计算机科学．1999（10）
：117-119
[44] 刘莉，徐玉生，马志新．数据挖掘中数据预处理技术综述．甘肃科学学报．
2003(3):117-119
[45] 刘越江,黄今慧.数据挖掘中的数据预处理技术．科技情报开发与经济．2003(5):170-171
[46] 于青子.具有明确语义的关联规则挖掘系统的研究与实现.硕士学位论文.河海大学.2002年3月：32-33
[47] 肖勃雷，王诚.KDD中的数据预处理技术—相关性分析.计算机工程与应用.
1999(3):70-71
[48] 李辉、杨增辉、周海洋、严璋. 快速滤波算法用于在线监测数据预处理.高电压技术.2002年第7期：30-37
[49] 张小平,马垣.KDD中的数据清理技术研究.鞍山科技大学学报.2003第4期：87-89
[50] 邵峰晶，于忠清.数据挖掘－原理与算法.北京：中国水利水电出版社，2003年8月：68-91
[51] lu Hongjun,Setiono Rudy,Liu Huan.Effective data mining using neural networks.IEEE Transaction on Knowledge and Data Engineer,1996:8(6)957-961
[52] 宋擒豹，沈钧毅.神经网络数据挖掘方法中的数据准备问题.计算机工程与应用.2000.12 :102-104
[53] 孙涛.数据挖掘中数据预处理的研究和实现.硕士论文.东北大学.2001
[54] 汽轮机运行规程，内蒙古蒙达发电有限责任公司
[55] 300MW级火力发电机组集控运行典型规程，华北电力集团公司
[56] J EDWARD JACKSON.Principal Components and Factor Analysis:Partl Principal Components.Journal of Quality Technology,1980,12(4)
[57] 唐懿芳，钟达夫.主成分分析方法对数据进行预处理.广西师范大学学报.2002，223～225
[58] Chen,M.S.,Han,J.,Yu,P.S. Data Mining: An Overview from a Database Perspective. IEEE Transactions on Knowledge and Data Engineering,1996(Dec)
,pp.866-883
[59] 柯惠新,黄京华,沈浩. 调查研究中的统计分析法. 北京:北京广播学院出版社, 1992.7:473-475
[60] 苏为华.多指标综合评价理论与方法问题研究.博士学位论文.厦门大学.2000年9月
[61] 赵英，张甲珩，程学建，贺海均，霍跃荣.多元统计分析在中国高新技术产业开发区综合评价中的应用.包头钢铁学院学报.2002(3):86-93
[62] 王淑芬.天津纺织工业综合竞争力的分析与比较.硕士学位论文.天津工业大学.2001年7月
[63] 李靖华，郭耀煌.主成分分析用于多指标评价的方法研究——主成分评价.
管理工程学报.2002(1):39-44
[64] 李艳双，曾珍香，张闵，于树江.主成分分析法在多指标综合评价方法中的应用.河北工业大学学报.1999(1):94-97