基于支持向量机的非线性系统建模与控制
|
摘要
支持向量机(SVM)是九十年代中期发展起来的新的机器学习技术，SVM是以统计学习理论(SLT)为基础，SLT着重研究小样本条件下的统计规律和学习方法的，而传统统计学前提是有足够多样本，当样本数目有限时难以取得理想的效果。SVM较好的解决了小样本、非线性、局部极小值等实际问题。采用支持向量机回归进行非线性系统建模与控制的研究是最近两三年以来产生的智能控制的一个研究领域。这种建模与控制方法不仅模型简单，有完备的理论支持，更重要的是提供了一种实现复杂的非线性系统的建模与控制的新方法，拓宽了智能控制的研究领域。
本文首先系统地学习了支持向量机的基本理论和应用，分析比较了国际上近期出现的各种支持向量机优化算法，研究了支持向量回归进行非线性系统建模的方法。讨论了支持向量机核参数及惩罚因子等参数对回归估计性能的影响。为了能够自动获取最优的支持向量机参数，避免参数反复试凑的冗长过程，本文将模糊逻辑推理方法与遗传算法相结合，提出了基于模糊遗传算法的SVM参数选择方法，用模糊逻辑在线调整遗传算法的杂交概率p_c和变异概率p_m，提高了标准遗传算法的收敛速度和精度，为解决支持向量机参数选取问题提供了一条有效途径。并将该方法用于非线性系统辨识中，仿真结果验证了该方法的有效性。
其次研究了最小二乘支持向量机(LS-SVM)非线性系统建模原理，并和支持向量机回归进行了分析比较。为了能够自动获取最佳的LS-SVM参数，提出采用模糊遗传算法用于LS-SVM的参数选取。并将基于遗传优化的LS-SVM用于温度传感器非线性校正，实验结果表明在小样本情况下，该算法相对于小脑模型(CMAC)网络在铂热电阻温度传感器校正应用中有更高的精度，是一种非常有效的方法。
最后针对近几年来工业过程控制领域研究的热点问题——非线性系统预测控制，本文提出了一种基于最小二乘支持向量机的模型预测控制方法，该方法采用LS-SVM建立预测模型、模糊遗传
Support vector machine (SVM) is a new machine learning technique which is development in the middle of 90's. Statistical Learning Theory (SLT) is foundation of SVM. SLT study statistical regulation and learning methods under small samples condition. Tradition statistics premise has enough samples. SVM is powerful for the problem characterized by small sample, nonlinearity, high dimension and local minima, and has high generalization. Because of its advantage on modeling of nonlinear system, SVMR became a new and strong tool in intelligent control field in recent years. Supporting by mathematics theory, SVMR nonlinear modeling and SVMR nonlinear control theory not only has a simple model, but also provides a new control theory which is suitable for complex nonlinear system.
Firstly, this paper systematically studied basic theories and applications of the support vector machine. Various support vector machine methods that appear in the word are compared. Paper studies method that using support vector regression to identify nonlinear system. The effect of SVM kernel parameter and punish gene are discussed. In order to get the optimal parameters of SVM automatically, avoiding costs lots of time to select parameters, a SVM parameter selection approach based on fuzzy genetic algorithms is proposed in this paper. The nonlinear system identification is studied using the crossover probability p_c and mutation probability p_m of the on-line adjustment genetic algorithm based on fuzzy logic. Fuzzy genetic algorithms have rapider evolvement speed and higher precision than genetic algorithms. An effective method to solve SVM parameter selection is provided. This method is used in nonlinear system identification. The simulation results show that this method is very effective.
Secondly, this paper studied theories of nonlinear system identification based on least square support vector machine (LS-SVM). Paper compares LS-SVM and SVM difference. In order to get the optimal parameters of LS-SVM automatically, use Fuzzy Genetic Algorithm to select parameters of LS-SVM, and use FGA-Least Square SVM to nonlinear calibration of temperature sensor. Experimental results show that this method has more accurate than CMAC network for nonlinear calibration of temperature sensor. This method is very effective.
Finally, a predictive control algorithm based on least squares support vector machines (LS-SVM) model is
本文首先系统地学习了支持向量机的基本理论和应用，分析比较了国际上近期出现的各种支持向量机优化算法，研究了支持向量回归进行非线性系统建模的方法。讨论了支持向量机核参数及惩罚因子等参数对回归估计性能的影响。为了能够自动获取最优的支持向量机参数，避免参数反复试凑的冗长过程，本文将模糊逻辑推理方法与遗传算法相结合，提出了基于模糊遗传算法的SVM参数选择方法，用模糊逻辑在线调整遗传算法的杂交概率p_c和变异概率p_m，提高了标准遗传算法的收敛速度和精度，为解决支持向量机参数选取问题提供了一条有效途径。并将该方法用于非线性系统辨识中，仿真结果验证了该方法的有效性。
其次研究了最小二乘支持向量机(LS-SVM)非线性系统建模原理，并和支持向量机回归进行了分析比较。为了能够自动获取最佳的LS-SVM参数，提出采用模糊遗传算法用于LS-SVM的参数选取。并将基于遗传优化的LS-SVM用于温度传感器非线性校正，实验结果表明在小样本情况下，该算法相对于小脑模型(CMAC)网络在铂热电阻温度传感器校正应用中有更高的精度，是一种非常有效的方法。
最后针对近几年来工业过程控制领域研究的热点问题——非线性系统预测控制，本文提出了一种基于最小二乘支持向量机的模型预测控制方法，该方法采用LS-SVM建立预测模型、模糊遗传
Support vector machine (SVM) is a new machine learning technique which is development in the middle of 90's. Statistical Learning Theory (SLT) is foundation of SVM. SLT study statistical regulation and learning methods under small samples condition. Tradition statistics premise has enough samples. SVM is powerful for the problem characterized by small sample, nonlinearity, high dimension and local minima, and has high generalization. Because of its advantage on modeling of nonlinear system, SVMR became a new and strong tool in intelligent control field in recent years. Supporting by mathematics theory, SVMR nonlinear modeling and SVMR nonlinear control theory not only has a simple model, but also provides a new control theory which is suitable for complex nonlinear system.
Firstly, this paper systematically studied basic theories and applications of the support vector machine. Various support vector machine methods that appear in the word are compared. Paper studies method that using support vector regression to identify nonlinear system. The effect of SVM kernel parameter and punish gene are discussed. In order to get the optimal parameters of SVM automatically, avoiding costs lots of time to select parameters, a SVM parameter selection approach based on fuzzy genetic algorithms is proposed in this paper. The nonlinear system identification is studied using the crossover probability p_c and mutation probability p_m of the on-line adjustment genetic algorithm based on fuzzy logic. Fuzzy genetic algorithms have rapider evolvement speed and higher precision than genetic algorithms. An effective method to solve SVM parameter selection is provided. This method is used in nonlinear system identification. The simulation results show that this method is very effective.
Secondly, this paper studied theories of nonlinear system identification based on least square support vector machine (LS-SVM). Paper compares LS-SVM and SVM difference. In order to get the optimal parameters of LS-SVM automatically, use Fuzzy Genetic Algorithm to select parameters of LS-SVM, and use FGA-Least Square SVM to nonlinear calibration of temperature sensor. Experimental results show that this method has more accurate than CMAC network for nonlinear calibration of temperature sensor. This method is very effective.
Finally, a predictive control algorithm based on least squares support vector machines (LS-SVM) model is
引文
[1] Filip Mulier. Vapnik-Chervonenkis(VC) Learning Theory and Its Applications. IEEE Trans. on Neural Networks[J]. Vol.10, No.5, Sep 1999:985-987
[2] VapnikV. The Nature of Statistical Learning Theory[M]. New York:Springer,1999
[3] 张学工．关于统计学习理论与支持向量机．自动化学报[J]，2000，26(1)：32-42
[4] 边肇祺，张学工．模式识别[M]．北京：清华大学出版社，2000
[5] Corinna Cortes, V.Vapnik. Support-Vector Network. Machine Learning[J], 20.273—297 (1995)
[6] N.Cristianini and J.Shawe-Taylor.An Introduction to Support Vector Machines. Cambridge University Press [M], Cambridge, UK, 2000
[7] Chih-Jen Lin. Formulations of support vector machines:a note from an optimization point of view. Technical report[M], National Taiwan University, Dept. of Computer Science,1999
[8] 李国正，王猛，曾华军译．支持向量机导论[M]．北京：电子工业出版社．2004
[9] S.Canu, X.Mary, A. Rakotomamonjy: Functional learning through kernel, Advances in Learning Theory: Methods, Models and Applications, NATO Science Series Ⅲ: Computer and Systems Sciences[J], IOS Press, Amsterdam 2003,190:89-110
[10] 张学工译．统计学习理论的本质[M]．北京：清华大学出版社．2000
[11] 刘华江，程君实，陈佳品．支持向量机训练算法综述．信息与控制[J]，2002，31(1)：45-50
[12] J.Platt. Sequential minimal optimization: A fast algorithm for training support vector machines. Advances in Kernel Methods-Support Vector learning[M]. Cambridge, MA:MIT Press,1999
[13] Chris J.C. Burges, Beruhard Scholkopf. Improving the Accuracy and Speed of Support Vector Machines. Neural Information Processing Systems[M], Vol.9, M. Mozer, M. Jordan, & T. Petsche, eds. MIT Press, Cambridge, MA, 1997
[14] 王定成，方廷健，唐毅等．支持向量机回归与控制的综述．模式识别与人工智能[J]，2003，16(2)：192-196
[15] Olvi L. Mangasarian, David R. Musicant. Successive Overrelaxation for Support Vector Machines[M]. IEEE Trans. on Neural Networks. Vol.10, No.5, Sep 1999
[16] 朱国强，刘士荣，俞金寿．支持向量机及其在函数逼近中的应用．华东理工大学学报(自然科学版)[J]，2002，28(5)：555-559
[17] 阎威武，朱宏栋，邵惠鹤．基于最小二乘支持向量机的软测量建模，系统仿真学报[J]，2003年，第10期，第15卷，P1494-1496
[18] 刘华江，程君实，陈佳品，支持向量机训练算法综述，信息与控制[J]，2002，31(1)：45 50
[19] V. N. Vapnik, S. E. Golowich, A. Smola. Support vector method for function approximation, regression estimation, and signal processing[A]. In Advances in Neural information processings systems 8[C], San Mateo, CA, 1996. Morgan Kaufmann Publishers
[20] J.Y.Zhu, B.Ren, H.X.Zhang, Time Series Prediction via New Support Vector Machine[A]. Proceedings of the First International Conference on Machine Learning and Cybernetics[C], 2002: 364-366
[21] 杜树新，吴铁军，用于回归估计的支持向量机方法，系统仿真学报[J]，第15卷，第11期，2003年11月
[22] 张元林，郑南宁，贾新春．基于支持向量回归的非线性系统辨识．信息与控制[J]，第32卷，第5期，2003年10月
[23] 飞思科技产品研发中心．MATLAB6.5辅助优化计算与设计[M]．北京：电子工业出版社，2003
[24] 候嫒彬，江梅，王立琦编著．系统辨识及其MATLAB仿真[M]．北京：科学出版社，2004
[25] 张浩然，韩止之，李昌刚．基于支持向量机的未知非线性系统辨识与控制．上海交通大学学报[J]，2004，37(6)：927-930
[26] 黄宴委，吴裼华，赵静一．回归型支持向量机的系统辨识及仿真，计算机仿真[J]，2004年，第5期，第21卷，P41-44
[27] 刘涵，刘丁，郑岗等．基于最小二乘支持向量机的天然气负荷预测，化工学报[J]，2004年，第5期，第55卷，P828-832
[28] 王定成，方廷健，高理富等．支持向量机回归在线建模及应用．控制与决策[J]，2003，18(1)：89-91
[29] Suykens J A K, Lukas L, Vandewalle J. Sparse approximation using least squares support vector machine[A].IEEE Int Symposium on Circuits and Systems[C].Geneva,2000.(Ⅱ):757-760
[30] 张家田，董秀莲．非线性传感器的校正方法，计量技术[J]，2002年，第6期，第18卷，P27-29
[31] 李阳春，罗志浩，蒋静坪．基于CMAC神经网络测温传感器的非线性校正，仪器仪表学报[J]，2001年，第5期，第22卷，P519-522
[32] 张永怀，刘君华．采用BP神经网络及其改进算法改善传感器特性，传感技术学报[J]，2002年，第3期，P185-188
[33] 汪晓东．RBF神经网络在传感器校正中的应用，仪器仪表学报[J]，2003年，第1期，第24卷，P95-98
[34] 刘天建，王劭伯，朱善安．基于神经网络的铂电阻温度传感器非线性校正方法，仪器仪表学报[J]，2002年，05期，P518-520
[35] 王春喜，查建中，李建勇，何大勇．现代控制技术的理论、应用与发展趋势，计算机自动测量与控制[J]，1999．7(4)
[36] 陈虹，刘志远，解小华．非线性模型预测控制的现状与问题．控制与决策[J]，2001．16(4)：385-392
[37] 舒迪前．预测控制系统及其应用[M]．北京：机械工业出版社，1998
[38] Raw lings J B. Tutorial overview of model predictive control[J].IEEE Control Systems Magazines,2000,20(3):38-52
[39] 何玉斌，李新忠等．神经网络控制技术及其应用[M]．北京：科学出版社，2000：1—58
[40] 杨平，彭道平，韩璞，于希宁，神经网络预测控制算法及其应用．控制工程[J]，10(4)，2003：349—351
[41] J.Y. Zhu, B. Ren, H. X. Zhang, et al. Time Series Prediction via New Support Vector Machine[A]. Proceedings of the First International Conference on Machine Learning and Cybernetics[C], 2002: 364-366
[42] 楼顺天，陈生潭，雷虎民编著．MATLAB5．X程序设计语言[M]．西安：西安电子科技大学出版社，2003
[43] 薛定宇，陈阳泉著．基于MATLAB／Simulink的系统仿真技术与应用[M]．北京：清华大学出版社，2002
[44] 雷英杰，张善文，李续武，周创明编著．MATLAB遗传算法工具箱及应用[M]．西安：西安电子科技大学出版社，2005
[45] 王小平、曹立明，遗传算法——理论、应用与软件实现[M]．西安：西安交通大学出版社，2002．1
[46] 张浩然，韩正之，李昌刚．基于支持向量机的非线性模型预测控制．系统工程与电子技术[J]，2003．25(3)：330-334
[47] 陈华，张小刚．基于GA的神经网络预测控制仿真研究及应用．计算技术与自动化[J]，2000．19(3)：117-121
[48] R.Haber, U.Schmitz,R.Bars.Optimal choice of horizons for Predictive control by using genetic algorithms. Annual Reviews in Control[J],Vol:28,2004:53-58
[49] C.Cortes, V. N.Vapnik. Support vector networks. Machine Learning[J],1995,20:273-295
[50] 邹健．智能预测控制及其应用研究：[博士学位论文][D]．杭州：浙江大学，2002
[51] 李睿．神经网络在非线性预测控制中的应用研究：[硕士学位论文][D]．西安：西安理工大学，2005
[52] 孙增圻等．智能控制理论与技术[M]，北京：清华大学出版社，1997
[53] 易继锴，侯媛彬．智能控制技术[M]，北京：北京工业大学出版社，1999
[54] 高隽编著：．人工神经网络原理及仿真实例[M]，北京：机械工业出版社，2003
[55] 诸静等著．智能预测控制及其应用[M]，杭州：浙江大学出版社，2003
[2] VapnikV. The Nature of Statistical Learning Theory[M]. New York:Springer,1999
[3] 张学工．关于统计学习理论与支持向量机．自动化学报[J]，2000，26(1)：32-42
[4] 边肇祺，张学工．模式识别[M]．北京：清华大学出版社，2000
[5] Corinna Cortes, V.Vapnik. Support-Vector Network. Machine Learning[J], 20.273—297 (1995)
[6] N.Cristianini and J.Shawe-Taylor.An Introduction to Support Vector Machines. Cambridge University Press [M], Cambridge, UK, 2000
[7] Chih-Jen Lin. Formulations of support vector machines:a note from an optimization point of view. Technical report[M], National Taiwan University, Dept. of Computer Science,1999
[8] 李国正，王猛，曾华军译．支持向量机导论[M]．北京：电子工业出版社．2004
[9] S.Canu, X.Mary, A. Rakotomamonjy: Functional learning through kernel, Advances in Learning Theory: Methods, Models and Applications, NATO Science Series Ⅲ: Computer and Systems Sciences[J], IOS Press, Amsterdam 2003,190:89-110
[10] 张学工译．统计学习理论的本质[M]．北京：清华大学出版社．2000
[11] 刘华江，程君实，陈佳品．支持向量机训练算法综述．信息与控制[J]，2002，31(1)：45-50
[12] J.Platt. Sequential minimal optimization: A fast algorithm for training support vector machines. Advances in Kernel Methods-Support Vector learning[M]. Cambridge, MA:MIT Press,1999
[13] Chris J.C. Burges, Beruhard Scholkopf. Improving the Accuracy and Speed of Support Vector Machines. Neural Information Processing Systems[M], Vol.9, M. Mozer, M. Jordan, & T. Petsche, eds. MIT Press, Cambridge, MA, 1997
[14] 王定成，方廷健，唐毅等．支持向量机回归与控制的综述．模式识别与人工智能[J]，2003，16(2)：192-196
[15] Olvi L. Mangasarian, David R. Musicant. Successive Overrelaxation for Support Vector Machines[M]. IEEE Trans. on Neural Networks. Vol.10, No.5, Sep 1999
[16] 朱国强，刘士荣，俞金寿．支持向量机及其在函数逼近中的应用．华东理工大学学报(自然科学版)[J]，2002，28(5)：555-559
[17] 阎威武，朱宏栋，邵惠鹤．基于最小二乘支持向量机的软测量建模，系统仿真学报[J]，2003年，第10期，第15卷，P1494-1496
[18] 刘华江，程君实，陈佳品，支持向量机训练算法综述，信息与控制[J]，2002，31(1)：45 50
[19] V. N. Vapnik, S. E. Golowich, A. Smola. Support vector method for function approximation, regression estimation, and signal processing[A]. In Advances in Neural information processings systems 8[C], San Mateo, CA, 1996. Morgan Kaufmann Publishers
[20] J.Y.Zhu, B.Ren, H.X.Zhang, Time Series Prediction via New Support Vector Machine[A]. Proceedings of the First International Conference on Machine Learning and Cybernetics[C], 2002: 364-366
[21] 杜树新，吴铁军，用于回归估计的支持向量机方法，系统仿真学报[J]，第15卷，第11期，2003年11月
[22] 张元林，郑南宁，贾新春．基于支持向量回归的非线性系统辨识．信息与控制[J]，第32卷，第5期，2003年10月
[23] 飞思科技产品研发中心．MATLAB6.5辅助优化计算与设计[M]．北京：电子工业出版社，2003
[24] 候嫒彬，江梅，王立琦编著．系统辨识及其MATLAB仿真[M]．北京：科学出版社，2004
[25] 张浩然，韩止之，李昌刚．基于支持向量机的未知非线性系统辨识与控制．上海交通大学学报[J]，2004，37(6)：927-930
[26] 黄宴委，吴裼华，赵静一．回归型支持向量机的系统辨识及仿真，计算机仿真[J]，2004年，第5期，第21卷，P41-44
[27] 刘涵，刘丁，郑岗等．基于最小二乘支持向量机的天然气负荷预测，化工学报[J]，2004年，第5期，第55卷，P828-832
[28] 王定成，方廷健，高理富等．支持向量机回归在线建模及应用．控制与决策[J]，2003，18(1)：89-91
[29] Suykens J A K, Lukas L, Vandewalle J. Sparse approximation using least squares support vector machine[A].IEEE Int Symposium on Circuits and Systems[C].Geneva,2000.(Ⅱ):757-760
[30] 张家田，董秀莲．非线性传感器的校正方法，计量技术[J]，2002年，第6期，第18卷，P27-29
[31] 李阳春，罗志浩，蒋静坪．基于CMAC神经网络测温传感器的非线性校正，仪器仪表学报[J]，2001年，第5期，第22卷，P519-522
[32] 张永怀，刘君华．采用BP神经网络及其改进算法改善传感器特性，传感技术学报[J]，2002年，第3期，P185-188
[33] 汪晓东．RBF神经网络在传感器校正中的应用，仪器仪表学报[J]，2003年，第1期，第24卷，P95-98
[34] 刘天建，王劭伯，朱善安．基于神经网络的铂电阻温度传感器非线性校正方法，仪器仪表学报[J]，2002年，05期，P518-520
[35] 王春喜，查建中，李建勇，何大勇．现代控制技术的理论、应用与发展趋势，计算机自动测量与控制[J]，1999．7(4)
[36] 陈虹，刘志远，解小华．非线性模型预测控制的现状与问题．控制与决策[J]，2001．16(4)：385-392
[37] 舒迪前．预测控制系统及其应用[M]．北京：机械工业出版社，1998
[38] Raw lings J B. Tutorial overview of model predictive control[J].IEEE Control Systems Magazines,2000,20(3):38-52
[39] 何玉斌，李新忠等．神经网络控制技术及其应用[M]．北京：科学出版社，2000：1—58
[40] 杨平，彭道平，韩璞，于希宁，神经网络预测控制算法及其应用．控制工程[J]，10(4)，2003：349—351
[41] J.Y. Zhu, B. Ren, H. X. Zhang, et al. Time Series Prediction via New Support Vector Machine[A]. Proceedings of the First International Conference on Machine Learning and Cybernetics[C], 2002: 364-366
[42] 楼顺天，陈生潭，雷虎民编著．MATLAB5．X程序设计语言[M]．西安：西安电子科技大学出版社，2003
[43] 薛定宇，陈阳泉著．基于MATLAB／Simulink的系统仿真技术与应用[M]．北京：清华大学出版社，2002
[44] 雷英杰，张善文，李续武，周创明编著．MATLAB遗传算法工具箱及应用[M]．西安：西安电子科技大学出版社，2005
[45] 王小平、曹立明，遗传算法——理论、应用与软件实现[M]．西安：西安交通大学出版社，2002．1
[46] 张浩然，韩正之，李昌刚．基于支持向量机的非线性模型预测控制．系统工程与电子技术[J]，2003．25(3)：330-334
[47] 陈华，张小刚．基于GA的神经网络预测控制仿真研究及应用．计算技术与自动化[J]，2000．19(3)：117-121
[48] R.Haber, U.Schmitz,R.Bars.Optimal choice of horizons for Predictive control by using genetic algorithms. Annual Reviews in Control[J],Vol:28,2004:53-58
[49] C.Cortes, V. N.Vapnik. Support vector networks. Machine Learning[J],1995,20:273-295
[50] 邹健．智能预测控制及其应用研究：[博士学位论文][D]．杭州：浙江大学，2002
[51] 李睿．神经网络在非线性预测控制中的应用研究：[硕士学位论文][D]．西安：西安理工大学，2005
[52] 孙增圻等．智能控制理论与技术[M]，北京：清华大学出版社，1997
[53] 易继锴，侯媛彬．智能控制技术[M]，北京：北京工业大学出版社，1999
[54] 高隽编著：．人工神经网络原理及仿真实例[M]，北京：机械工业出版社，2003
[55] 诸静等著．智能预测控制及其应用[M]，杭州：浙江大学出版社，2003