支持向量机逆系统方法在热工系统中的应用研究
|
摘要
本文概括介绍了支持向量机算法及逆系统方的相关内容,并针对支持向量机参数难以选择的问题,通过分析参数变化对支持向量机学习结果的影响,提出了一种改进的粒子群优化参数的方法。即在粒子群优化算法的适应度函数中,引入了与支持向量机解的稀疏性相关性的优化方法。改进算法将支持向量个数在训练集中的比例与经验风险求和作为粒子群寻优的适应度函数,避免了可能存在的“过学习”问题。而后在采用参数优化保证支持向量机推广能力的基础上,将支持向量机算法引入逆系统建模,介绍了基于支持向量机的逆系统建模的一般方法；并针对多输入多输出非线性离散系统构造其以及α阶逆系统,通过仿真实验完成强耦合系统的解耦,证明了支持向量机建立逆系统模型的有效性。
In this paper,the theory about Support Vector Machine (SVM) and inverse system method is firstly introced.And then,considering the problem of parameter selection of SVM. Particle Swarm Optimization(PSO) algorithm is applied to help to determine parameters of SVM.The sparseness in the training result of support vector machine is introduced as part of fitness function of PSO algorithm.Summation of empirical risk and support vector divided by training set's size is employed as fitness function.In simulation experiment of a non-linear system, modeling result proved that the proposed method overcame overfitting problem in training process and the predict precision of SVM predict model is enhanced. As generalization ability of SVM's trainning result is guaranteed,SVM algorithm was applied in inverse system modeling. The usual SVM inverse system method is detailedly introduced,and the modeling of MIMO nonlinear discrete system'sαth-order inverse was emulated and proved that SVM is just effective for modeling a th-order inverse and help a lot in decoupling the MIMO system.
In this paper,the theory about Support Vector Machine (SVM) and inverse system method is firstly introced.And then,considering the problem of parameter selection of SVM. Particle Swarm Optimization(PSO) algorithm is applied to help to determine parameters of SVM.The sparseness in the training result of support vector machine is introduced as part of fitness function of PSO algorithm.Summation of empirical risk and support vector divided by training set's size is employed as fitness function.In simulation experiment of a non-linear system, modeling result proved that the proposed method overcame overfitting problem in training process and the predict precision of SVM predict model is enhanced. As generalization ability of SVM's trainning result is guaranteed,SVM algorithm was applied in inverse system modeling. The usual SVM inverse system method is detailedly introduced,and the modeling of MIMO nonlinear discrete system'sαth-order inverse was emulated and proved that SVM is just effective for modeling a th-order inverse and help a lot in decoupling the MIMO system.
引文
[1]Brockett R W.Nonlinear System and Differential Gemometry[J].Proc Of IEEE,1976,64(1):1690-1694.
[2]李春文,冯元现.多变量非线性控制的逆系统方法[M].北京：清华大学出版社,1991：24-25.
[3]戴先中,刘军,冯纯伯.神经网络α阶逆系统在离散非线性系统控制中的应用[J].控制与决策,1997,12(3)：217-219.
[4]何丹,戴先中,王勤.神经网络广义逆系统控制[J].控制理论与应用,2002,19(1)：34-40.
[5]何峻峰,张曾科.基于支持向量机的逆系统离散控制方法[J].清华大学学报,2005,45(1)：100-103.
[6]Vapnik V.Statistical Learning Theory[M].New York:Wiley,1998:138-140.
[7]Vapnik V统计学习理论的本质[M].北京：清华大学出版社,2000：109-114.
[8]边肇棋,张学工.模式识别[M].北京：清华大学出版社,2000：193-199.
[9]李春文,苗原,冯元棍,杜继宏.非线性系统控制的逆系统方法-单变量控制理论[J].控制与决策,1998,12(5)：529-535.
[10]李春文,张平.一种基于逆系统方法的化学反应器改进控制方案[J].控制与决策,1998,13(5)：577-580.
[11]陈传章,金福临,朱学炎.数学分析[M].北京：高教出版社,1983：97-99.
[12]张学工.关于统计学习理论与支持向量机[J].自动化学报,2000,(1)：32-42.
[13]邓乃扬,田英杰.数据挖掘中的新方法-支持向量机[J].北京：科学出版社,2004：67-70.
[14]祁亨年.支持向量机及其应用研究综述[J].计算机工程,2004,30(10)：6-9.
[15]王春林,周吴,周樟华,等.基于支持向量机的大型电厂锅炉飞灰含碳量建模[J].中国电机工程学报,2005,25(20)：72-76.
[16]奉国和,朱思铭.改进SVM及其在时间序列数据预测中的应用[J].华南理工大学学报,2005,33(5)：19-22
[17]董春曦,饶鲜,杨绍全.支持向量机参数选择方法研究[J].系统工程与电子技术,2004,26(8)：1117-1120.
[18]李爱国,覃征,鲍复民,等.粒子群优化算法[J].计算机工程与应用,2002,39(21)：1-3.
[19]刘鹏飞,董守斌,等.基于多目标粒子群的对接函数综合[J].微计算机信息,2009,25(3)：197-199.
[20]熊伟丽,徐保国.基于PSO的SVR参数优化选择方法研究[J].系统仿真学报,2007,18(9)：2442-2445.
[21]李良敏,温广瑞,王生昌.基于遗传算法的回归型支持向量机参数选择法[J].计算机工程与应用,2008,44(7)：23-26.
[22]董春曦,杨绍全,饶鲜,汤建龙.支持向量机推广能力估计方法比较[J].电路与系统学报,2004,(9)：86-91.
[23]吴洲,潘丰,田鹏.基于PSO和LSSVM的生化过程建模研究[J].自动化与仪表,2009,(2)：5-8.
[24]Smola A J,Scholkopf B.A tutorial on support vector regression[J],Statistics andComputing,2004,14(3)：199-222.
[25]杜树新,吴铁军.用于回归估计的支持向量机方法[J].系统仿真学 报,2003,15(11):1580-1585.
[26]Cheng-Lung Huanga,Jian-Fan Dun. A distributed PSO-SVM hybrid system with feature selection and parameter optimizationJ]. Applied Soft Computing,2008,8(4):1381-1391.
[27]张浩然,韩正之,李昌刚.基于支持向量机的未知非线性系统辨识与控制[J].上海交通大学学报,2003,37(6)：927-930.
[28]黄焕袍,武利强,高峰,韩京清,林永君.自抗扰控制在火电厂主汽温控制中的应用[J].系统仿真学报,2005,17(1)：241-244.
[29]蔡春,万潇楠,逯燕玲.基于支持向量机的DNA序列分类系统设计与实现[J].中国农业大学学报,2005,10(2)：58-64.
[30]吕刚.基于支持向量机的语音检测[J].武汉理工大学学报,2005,27(4)：93-94.
[31]刘向东,骆斌,陈兆乾.支持向量机最优模型选择的研究[J].计算机研究与发展,2005,42(4)：576-581.
[32]王晓丹,王积勤.支持向量机训练和实现算法综述[J].计算机工程与应用,2004,1(13)：75-78.
[33]王国胜,钟义信.支持向量机的若干新进展[J].电子学报,2001,29(10)：1397-1400.
[34]姬水旺,姬旺田.支持向量机训练算法综述[J].微机发展,2004,14(1)：18-20.
[35]Cortes C,VapnikV.Support Vector Networks[J].Machine Learning,1995,20(3):273-297.
[36]Seholkopf B,SungK K,Burges Cetal.Comparing support vector machines with Gaussian kernels to radial basis function classifiers[J]. On Signal Proeessing,1997, 45(11):2758-2765.
[37]汪丹,张亚非.SVM和BP算法在气体识别中的对比研究[J].传感技术学报,2005,18(1)：201-204.
[38]杨一文,杨朝军.基于支持向量机的金融时间序列预测[J].系统工程理论方法应用,2005,14(2)：176-181.
[39]田盛年,黄厚宽.回归型支持向量机的简化算法[J].软件学报,2003,13(6)：1169-1172.
[2]李春文,冯元现.多变量非线性控制的逆系统方法[M].北京：清华大学出版社,1991：24-25.
[3]戴先中,刘军,冯纯伯.神经网络α阶逆系统在离散非线性系统控制中的应用[J].控制与决策,1997,12(3)：217-219.
[4]何丹,戴先中,王勤.神经网络广义逆系统控制[J].控制理论与应用,2002,19(1)：34-40.
[5]何峻峰,张曾科.基于支持向量机的逆系统离散控制方法[J].清华大学学报,2005,45(1)：100-103.
[6]Vapnik V.Statistical Learning Theory[M].New York:Wiley,1998:138-140.
[7]Vapnik V统计学习理论的本质[M].北京：清华大学出版社,2000：109-114.
[8]边肇棋,张学工.模式识别[M].北京：清华大学出版社,2000：193-199.
[9]李春文,苗原,冯元棍,杜继宏.非线性系统控制的逆系统方法-单变量控制理论[J].控制与决策,1998,12(5)：529-535.
[10]李春文,张平.一种基于逆系统方法的化学反应器改进控制方案[J].控制与决策,1998,13(5)：577-580.
[11]陈传章,金福临,朱学炎.数学分析[M].北京：高教出版社,1983：97-99.
[12]张学工.关于统计学习理论与支持向量机[J].自动化学报,2000,(1)：32-42.
[13]邓乃扬,田英杰.数据挖掘中的新方法-支持向量机[J].北京：科学出版社,2004：67-70.
[14]祁亨年.支持向量机及其应用研究综述[J].计算机工程,2004,30(10)：6-9.
[15]王春林,周吴,周樟华,等.基于支持向量机的大型电厂锅炉飞灰含碳量建模[J].中国电机工程学报,2005,25(20)：72-76.
[16]奉国和,朱思铭.改进SVM及其在时间序列数据预测中的应用[J].华南理工大学学报,2005,33(5)：19-22
[17]董春曦,饶鲜,杨绍全.支持向量机参数选择方法研究[J].系统工程与电子技术,2004,26(8)：1117-1120.
[18]李爱国,覃征,鲍复民,等.粒子群优化算法[J].计算机工程与应用,2002,39(21)：1-3.
[19]刘鹏飞,董守斌,等.基于多目标粒子群的对接函数综合[J].微计算机信息,2009,25(3)：197-199.
[20]熊伟丽,徐保国.基于PSO的SVR参数优化选择方法研究[J].系统仿真学报,2007,18(9)：2442-2445.
[21]李良敏,温广瑞,王生昌.基于遗传算法的回归型支持向量机参数选择法[J].计算机工程与应用,2008,44(7)：23-26.
[22]董春曦,杨绍全,饶鲜,汤建龙.支持向量机推广能力估计方法比较[J].电路与系统学报,2004,(9)：86-91.
[23]吴洲,潘丰,田鹏.基于PSO和LSSVM的生化过程建模研究[J].自动化与仪表,2009,(2)：5-8.
[24]Smola A J,Scholkopf B.A tutorial on support vector regression[J],Statistics andComputing,2004,14(3)：199-222.
[25]杜树新,吴铁军.用于回归估计的支持向量机方法[J].系统仿真学 报,2003,15(11):1580-1585.
[26]Cheng-Lung Huanga,Jian-Fan Dun. A distributed PSO-SVM hybrid system with feature selection and parameter optimizationJ]. Applied Soft Computing,2008,8(4):1381-1391.
[27]张浩然,韩正之,李昌刚.基于支持向量机的未知非线性系统辨识与控制[J].上海交通大学学报,2003,37(6)：927-930.
[28]黄焕袍,武利强,高峰,韩京清,林永君.自抗扰控制在火电厂主汽温控制中的应用[J].系统仿真学报,2005,17(1)：241-244.
[29]蔡春,万潇楠,逯燕玲.基于支持向量机的DNA序列分类系统设计与实现[J].中国农业大学学报,2005,10(2)：58-64.
[30]吕刚.基于支持向量机的语音检测[J].武汉理工大学学报,2005,27(4)：93-94.
[31]刘向东,骆斌,陈兆乾.支持向量机最优模型选择的研究[J].计算机研究与发展,2005,42(4)：576-581.
[32]王晓丹,王积勤.支持向量机训练和实现算法综述[J].计算机工程与应用,2004,1(13)：75-78.
[33]王国胜,钟义信.支持向量机的若干新进展[J].电子学报,2001,29(10)：1397-1400.
[34]姬水旺,姬旺田.支持向量机训练算法综述[J].微机发展,2004,14(1)：18-20.
[35]Cortes C,VapnikV.Support Vector Networks[J].Machine Learning,1995,20(3):273-297.
[36]Seholkopf B,SungK K,Burges Cetal.Comparing support vector machines with Gaussian kernels to radial basis function classifiers[J]. On Signal Proeessing,1997, 45(11):2758-2765.
[37]汪丹,张亚非.SVM和BP算法在气体识别中的对比研究[J].传感技术学报,2005,18(1)：201-204.
[38]杨一文,杨朝军.基于支持向量机的金融时间序列预测[J].系统工程理论方法应用,2005,14(2)：176-181.
[39]田盛年,黄厚宽.回归型支持向量机的简化算法[J].软件学报,2003,13(6)：1169-1172.