基于支持向量机优化RBF神经网络的算法及应用研究
|
摘要
学习是人类的基本智能活动,学习能力是人类智能的根本特征。机器学习是指机器在人工智能系统中模拟并实现各种学习行为的过程。传统的机器学习方法主要有神经网络、小波网络、模糊系统及建立在统计学习理论基础的新的通用机器学习方法——支持向量机等。
径向基函数神经网络是一种新颖有效的前馈式神经网络,它具有其他前向网络所不具有的最佳逼近的性能和全局最优的特性,并且结构简单,训练速度快。在RBF神经网络中,隐层中心的数量和位置是整个网络性能优劣的关键,直接影响着网络的性能。中心的数量即隐层节点数量选得太多,容易导致过拟合,使得推广能力下降;中心数选得太少,所学习的网络对样本中包含的信息学习得不充分,也会使得推广能力下降。在实际应用中,RBF网络的优势在于用线性学习算法来完成以往非线性学习算法所做的工作,同时又能保持非线性算法所具有的准确率高等特点的神经网络。但是,在解决高维数据问题时,用传统方式确定的RBF网络在推广能力上有着很明显的缺点。
基于统计学习理论的支持向量机算法具有坚实的数学理论基础和严格的理论分析,具有理论完备、全局优化、适应性强、推广能力好等优点,它在很大程度上解决了以往的机器学习模型的选择与过学习、非线性、维数灾难、局部极小点等问题,由于支持向量机在模式识别、回归估计、函数逼近、风险预算、金融序列分析、密度估计、新奇性检验等各个领域获得了巨大成功,立刻成为了机器学习、神经网络、人工智能等方向的专家与学者研究的对象。它使用结构风险最小化原则,综合了统计学习、机器学习和神经网络等方面技术,在最小化经验风险的同时,有效地提高了算法泛化能力。它与传统的机器学习方法相比,具有良好的潜在应用价值和发展前景。
本文以径向基函数神经网络和支持向量机为主要研究对象,在介绍了机器学习方法的基础理论以及RBF神经网络和支持向量机的机理后,分析研究了这两种学习方法的内在联系。本文在研究这种内在联系并阐述遗传算法的流程和基本原理的基础上,提出了基于支持向量机和遗传算法RBF神经网络优化算法,即使用遗传算法为支持向量机进行模型参数选择,再利用所建立的支持向量机来构造RBF神经网络。此算法避免了传统算法易陷入局部极小点的缺点,又不需要通过大量实验或凭经验预先指定网络结构。
最后,将用本算法优化的RBF神经网络用于非线性系统辨识,通过仿真实验表明,该RBF网络具有较好的辨识精度和泛化能力。
Learning is mortal foundational intellect activity.Learning ability is fundamental feature of mortal intelligence. Machine learning means the process that machine(computer or intellect machine)simulates and implements various learning behavior in artificial intelligence system.Traditional machine learning method include neural network、wavelet network、fuzzy system、bayes categorizer and fuzzy division and the general novel machine learning method,support vector machine,which is based on statistics learning theory.
RBF neural network is a new and effective neural network.It has the best and universal approximation property,simple structure and fast training speed.The key point in design of radial basis function networks is to specify the number and the locations of the centers.If the number of centers(or the hidden layer units)is chosen too much,over-fitting results and the generalization are getting worse.On the contrary,if the centers chosen is too little,the network is not enough to study the training samples that the performance of networks,for example,generalization will become bad.The advantage of radial basis function neural networks lies in achieving high accurary by taking place of nonlinear algorithm with linear algorithm.So,radial basis function neural network is a kind of neural networks with the performance of high convergence and accuracy.But,when the radial basis function neural network is used to solve the problem of high-dimension data,the generalization of neural network determined by past center-chosen algorithms is very poor.
Support vector machine based on the Statistical Learning Theory is a new approach and research field in machine learning because of its advantage such as firm mathematic theory foundation,strict theory analysis,complete theory,global optimization as well as good adaptability and generalization.SVM prodigiously solves many problems encountered by machine learning methods,such as model selection,overfitting,nonlinear and dimension curse in high dimension.Because of the successful application in the fields of pattern recognition,regression estimation,function approaching,risk budget,finance series analysis,density estimation and so on,SVM became the research hotshot in many study fields.SVM improves the algorithm generalization effectively and minimizes the empirical risk simultaneously by using Structural Risk Minimization and synthesizing the techniques including the statistical learning,machine learning and neural networks,etc.It also has good latent applincation values and development prospects compared with the conventional machine learning methods.
The thesis emphasis on these two sorts of primary machine learning methods:RBF neural network,support vector machine.After introducing fundamental theory of machine learning and mechanism of neural network,support vector machine,the thesis studies and analyzes inward link between them.In this paper, thoroughly researching this inward link and expatiating the flow and basic principle of genetic algorithm,a new optimization algorithm based on support vector machine and genetic algorithm for RBF neural network is presented,in which GA is used to choose the SVM model parameter and SVM is used to help constructing the RBF.It avoids the disadvantage of traditional algorithms which are often trapped to local minima.Another advantage of the method is that it is not required to designate the network structure in advance by experience or plenty of trials.
Finally,the network based on this algorithm is applied on nonlinear system identification. According to simulation,the method has higher precision,good generalization ability and classification ability.
径向基函数神经网络是一种新颖有效的前馈式神经网络,它具有其他前向网络所不具有的最佳逼近的性能和全局最优的特性,并且结构简单,训练速度快。在RBF神经网络中,隐层中心的数量和位置是整个网络性能优劣的关键,直接影响着网络的性能。中心的数量即隐层节点数量选得太多,容易导致过拟合,使得推广能力下降;中心数选得太少,所学习的网络对样本中包含的信息学习得不充分,也会使得推广能力下降。在实际应用中,RBF网络的优势在于用线性学习算法来完成以往非线性学习算法所做的工作,同时又能保持非线性算法所具有的准确率高等特点的神经网络。但是,在解决高维数据问题时,用传统方式确定的RBF网络在推广能力上有着很明显的缺点。
基于统计学习理论的支持向量机算法具有坚实的数学理论基础和严格的理论分析,具有理论完备、全局优化、适应性强、推广能力好等优点,它在很大程度上解决了以往的机器学习模型的选择与过学习、非线性、维数灾难、局部极小点等问题,由于支持向量机在模式识别、回归估计、函数逼近、风险预算、金融序列分析、密度估计、新奇性检验等各个领域获得了巨大成功,立刻成为了机器学习、神经网络、人工智能等方向的专家与学者研究的对象。它使用结构风险最小化原则,综合了统计学习、机器学习和神经网络等方面技术,在最小化经验风险的同时,有效地提高了算法泛化能力。它与传统的机器学习方法相比,具有良好的潜在应用价值和发展前景。
本文以径向基函数神经网络和支持向量机为主要研究对象,在介绍了机器学习方法的基础理论以及RBF神经网络和支持向量机的机理后,分析研究了这两种学习方法的内在联系。本文在研究这种内在联系并阐述遗传算法的流程和基本原理的基础上,提出了基于支持向量机和遗传算法RBF神经网络优化算法,即使用遗传算法为支持向量机进行模型参数选择,再利用所建立的支持向量机来构造RBF神经网络。此算法避免了传统算法易陷入局部极小点的缺点,又不需要通过大量实验或凭经验预先指定网络结构。
最后,将用本算法优化的RBF神经网络用于非线性系统辨识,通过仿真实验表明,该RBF网络具有较好的辨识精度和泛化能力。
Learning is mortal foundational intellect activity.Learning ability is fundamental feature of mortal intelligence. Machine learning means the process that machine(computer or intellect machine)simulates and implements various learning behavior in artificial intelligence system.Traditional machine learning method include neural network、wavelet network、fuzzy system、bayes categorizer and fuzzy division and the general novel machine learning method,support vector machine,which is based on statistics learning theory.
RBF neural network is a new and effective neural network.It has the best and universal approximation property,simple structure and fast training speed.The key point in design of radial basis function networks is to specify the number and the locations of the centers.If the number of centers(or the hidden layer units)is chosen too much,over-fitting results and the generalization are getting worse.On the contrary,if the centers chosen is too little,the network is not enough to study the training samples that the performance of networks,for example,generalization will become bad.The advantage of radial basis function neural networks lies in achieving high accurary by taking place of nonlinear algorithm with linear algorithm.So,radial basis function neural network is a kind of neural networks with the performance of high convergence and accuracy.But,when the radial basis function neural network is used to solve the problem of high-dimension data,the generalization of neural network determined by past center-chosen algorithms is very poor.
Support vector machine based on the Statistical Learning Theory is a new approach and research field in machine learning because of its advantage such as firm mathematic theory foundation,strict theory analysis,complete theory,global optimization as well as good adaptability and generalization.SVM prodigiously solves many problems encountered by machine learning methods,such as model selection,overfitting,nonlinear and dimension curse in high dimension.Because of the successful application in the fields of pattern recognition,regression estimation,function approaching,risk budget,finance series analysis,density estimation and so on,SVM became the research hotshot in many study fields.SVM improves the algorithm generalization effectively and minimizes the empirical risk simultaneously by using Structural Risk Minimization and synthesizing the techniques including the statistical learning,machine learning and neural networks,etc.It also has good latent applincation values and development prospects compared with the conventional machine learning methods.
The thesis emphasis on these two sorts of primary machine learning methods:RBF neural network,support vector machine.After introducing fundamental theory of machine learning and mechanism of neural network,support vector machine,the thesis studies and analyzes inward link between them.In this paper, thoroughly researching this inward link and expatiating the flow and basic principle of genetic algorithm,a new optimization algorithm based on support vector machine and genetic algorithm for RBF neural network is presented,in which GA is used to choose the SVM model parameter and SVM is used to help constructing the RBF.It avoids the disadvantage of traditional algorithms which are often trapped to local minima.Another advantage of the method is that it is not required to designate the network structure in advance by experience or plenty of trials.
Finally,the network based on this algorithm is applied on nonlinear system identification. According to simulation,the method has higher precision,good generalization ability and classification ability.
引文
[1]阎威武.支持向量机理论、方法和应用:[博士学位论文].上海:上海交通大学,2003年2月
[2]顾民.神经网络、模糊系统、支持向量机内在联系研究.电子科技大学,工程硕士学位论文,2004年3月
[3] Vapnik V..Estimation of Dependences based on Empirical Data.Berlin:Springer Verlag,1982
[4] Cristianini N. and Taylor J.S..An Introduction to Support Vector Machines and other Kernel-based Learning Methods.London:Cambridge University Press,2000
[5] Vapnik V.N..The Nature of Statistical Learning Theory,Berlin:Springer-Verlag,1995
[6]张学工.关于统计学习理论与支持向量机.自动化学报,26(1),2000
[7]张学工译.统计学习理论的本质.北京:清华大学出版社,2000
[8]史忠值.知识发现.北京:清华大学出版社,2002,203-207
[9]邓乃扬,田英杰.数据挖掘中的新方法-支持向量机.北京:科学出版社,2004
[10]张学工.统计学习理论和支持向量机简介.学术报告,2002年11月13日.清华大学出版社
[11]张文生.统计机器学习理论与算法研究:[自动化博士学位论文],北京:中国科学院自动化研究所,2001年
[12]边肇祺,张学工.模式识别(第二版).北京:清华大学出版社,2000
[13]高隽.人工神经网络原理及仿真实例[M].机械工业出版社,2003年7月
[14] Simon Haykin著.神经网络原理[M],叶世伟,史忠值译.机械工业出版社,2004
[15]魏海坤.神经网络结果设计的理论与方法.北京:国防工业出版社,2005
[16]周志华,曹存根.神经网络及其应用.北京:清华大学出版社,2004
[17]张立明.人工神经网络的模型及其应用[M].复旦大学出版社,1993
[18]王士同,於东军.径向基神经网络的构造理论[J].华东船舶工业学院学报,1999,13(2):5~13
[19]吴月伟.基于径向基神经网络的飞机发动机故障诊断研究:[硕士学位论文].天津:中国民用航空学院,2006年2月
[20]朱明星,张德龙.RBF网络基函数中心选取算法的研究[J].安徽大学学报,2003,24(1):72~78
[21]单晓虹.基于遗传算法的RBF神经网络及其在系统辨识中的应用:[硕士学位论文].山东:青岛大学,2006年6月
[22]黄滨.基于径向基神经网络的广义预测控制研究及应用:[硕士学位论文].黑龙江:哈尔滨工程大学,2007年3月
[23]张国云.支持向量机算法及其应用研究:[博士学位论文].湖南:湖南大学,2006年3月
[24]焦李成.神经网络的应用与实现[M].西安:西安电子科技大学出版社,1996
[25]萧嵘.支持向量机理论综述.计算机科学,2000年,第27卷第3期:1～3
[26]刘江华.支持向量机训练算法综述.信息与控制,2002年2月,第31(1):45～50
[27] Narendra K S,Rarthasarathy K.Identification and Control of Dynamical Systems Using Neural Networks.IEEE Transactions on Neural Networks,1990,1(1):4-26
[28]朱全民.非线性系统辨识.控制理论与应用,1994,11(6):641-652
[29]飞思科技产品研发中心.神经网络理论与MATLAB7实现[M].电子工业出版社,2005.3
[30]焦李成.神经网络的应用与实现[M].西安:西安电子科技大学出版社,1996
[31]雷英杰,张善文,李续武等.遗传算法工具箱及应用.西安:西安电子科技大学出版社,2005
[32]王小平,曹立明.遗传算法——理论、应用与软件实现.西安:西安交通大学出版社,2004
[33]李士勇.模糊控制、神经控制和智能控制论.哈尔滨:哈尔滨工业大学出版社,1990
[34] Zadeh LA.From Circuit Theory to System Theory.Pshiroc.IRE,1962,50(5)856-865
[35]孙宗海.支持向量机及其在控制中的应用研究:[博士学位论文].浙江:浙江大学,2003年8月
[36]李丽娜.基于神经网络的过程建模与优化:[博士学位论文].北京:北京理工大学,2003年1月
[37]赵一雷.基于支持向量机的复杂武器系统故障诊断与评估:[硕士学位论文].北京:北京理工大学,2006年6月
[38]吴勤.基于神经网络的复杂武器系统软件可靠性分析:[硕士学位论文].北京:北京理工大学,2006年3月
[39]张芳.基于改进GA的模糊神经网络参数学习算法及其应用的研究:[硕士学位论文].湖南:中南大学,2007年5月
[40]袁小芳,王耀南,孙炜等.一种用于RBF神经网络的支持向量机与BP的混合学习算法.湖南大学学报,2005,Vol.32(3):88～92
[41]柴杰,江青茵,曹志凯.RBF神经网络的函数逼近能力及其算法[J].模式识别与人工智能,2002,15(3):310～316
[42]王学雷,邵惠鹤,李亚芬.一种径向基函数神经网络在线训练算法及其在非线性控制中的应用[J].信息与控制,2001,30(3):249～253
[43] NELLO Critianini,JOHN Shawe-taylor.支持向量机导论[M],李国正,王猛,曾华军译.北京:电子工业出版社,2004
[44]杨旭,纪玉波,田雪.基于遗传算法的SVM参数选取.辽宁石油化工大学学报,2004,24(1):54～58
[2]顾民.神经网络、模糊系统、支持向量机内在联系研究.电子科技大学,工程硕士学位论文,2004年3月
[3] Vapnik V..Estimation of Dependences based on Empirical Data.Berlin:Springer Verlag,1982
[4] Cristianini N. and Taylor J.S..An Introduction to Support Vector Machines and other Kernel-based Learning Methods.London:Cambridge University Press,2000
[5] Vapnik V.N..The Nature of Statistical Learning Theory,Berlin:Springer-Verlag,1995
[6]张学工.关于统计学习理论与支持向量机.自动化学报,26(1),2000
[7]张学工译.统计学习理论的本质.北京:清华大学出版社,2000
[8]史忠值.知识发现.北京:清华大学出版社,2002,203-207
[9]邓乃扬,田英杰.数据挖掘中的新方法-支持向量机.北京:科学出版社,2004
[10]张学工.统计学习理论和支持向量机简介.学术报告,2002年11月13日.清华大学出版社
[11]张文生.统计机器学习理论与算法研究:[自动化博士学位论文],北京:中国科学院自动化研究所,2001年
[12]边肇祺,张学工.模式识别(第二版).北京:清华大学出版社,2000
[13]高隽.人工神经网络原理及仿真实例[M].机械工业出版社,2003年7月
[14] Simon Haykin著.神经网络原理[M],叶世伟,史忠值译.机械工业出版社,2004
[15]魏海坤.神经网络结果设计的理论与方法.北京:国防工业出版社,2005
[16]周志华,曹存根.神经网络及其应用.北京:清华大学出版社,2004
[17]张立明.人工神经网络的模型及其应用[M].复旦大学出版社,1993
[18]王士同,於东军.径向基神经网络的构造理论[J].华东船舶工业学院学报,1999,13(2):5~13
[19]吴月伟.基于径向基神经网络的飞机发动机故障诊断研究:[硕士学位论文].天津:中国民用航空学院,2006年2月
[20]朱明星,张德龙.RBF网络基函数中心选取算法的研究[J].安徽大学学报,2003,24(1):72~78
[21]单晓虹.基于遗传算法的RBF神经网络及其在系统辨识中的应用:[硕士学位论文].山东:青岛大学,2006年6月
[22]黄滨.基于径向基神经网络的广义预测控制研究及应用:[硕士学位论文].黑龙江:哈尔滨工程大学,2007年3月
[23]张国云.支持向量机算法及其应用研究:[博士学位论文].湖南:湖南大学,2006年3月
[24]焦李成.神经网络的应用与实现[M].西安:西安电子科技大学出版社,1996
[25]萧嵘.支持向量机理论综述.计算机科学,2000年,第27卷第3期:1～3
[26]刘江华.支持向量机训练算法综述.信息与控制,2002年2月,第31(1):45～50
[27] Narendra K S,Rarthasarathy K.Identification and Control of Dynamical Systems Using Neural Networks.IEEE Transactions on Neural Networks,1990,1(1):4-26
[28]朱全民.非线性系统辨识.控制理论与应用,1994,11(6):641-652
[29]飞思科技产品研发中心.神经网络理论与MATLAB7实现[M].电子工业出版社,2005.3
[30]焦李成.神经网络的应用与实现[M].西安:西安电子科技大学出版社,1996
[31]雷英杰,张善文,李续武等.遗传算法工具箱及应用.西安:西安电子科技大学出版社,2005
[32]王小平,曹立明.遗传算法——理论、应用与软件实现.西安:西安交通大学出版社,2004
[33]李士勇.模糊控制、神经控制和智能控制论.哈尔滨:哈尔滨工业大学出版社,1990
[34] Zadeh LA.From Circuit Theory to System Theory.Pshiroc.IRE,1962,50(5)856-865
[35]孙宗海.支持向量机及其在控制中的应用研究:[博士学位论文].浙江:浙江大学,2003年8月
[36]李丽娜.基于神经网络的过程建模与优化:[博士学位论文].北京:北京理工大学,2003年1月
[37]赵一雷.基于支持向量机的复杂武器系统故障诊断与评估:[硕士学位论文].北京:北京理工大学,2006年6月
[38]吴勤.基于神经网络的复杂武器系统软件可靠性分析:[硕士学位论文].北京:北京理工大学,2006年3月
[39]张芳.基于改进GA的模糊神经网络参数学习算法及其应用的研究:[硕士学位论文].湖南:中南大学,2007年5月
[40]袁小芳,王耀南,孙炜等.一种用于RBF神经网络的支持向量机与BP的混合学习算法.湖南大学学报,2005,Vol.32(3):88～92
[41]柴杰,江青茵,曹志凯.RBF神经网络的函数逼近能力及其算法[J].模式识别与人工智能,2002,15(3):310～316
[42]王学雷,邵惠鹤,李亚芬.一种径向基函数神经网络在线训练算法及其在非线性控制中的应用[J].信息与控制,2001,30(3):249～253
[43] NELLO Critianini,JOHN Shawe-taylor.支持向量机导论[M],李国正,王猛,曾华军译.北京:电子工业出版社,2004
[44]杨旭,纪玉波,田雪.基于遗传算法的SVM参数选取.辽宁石油化工大学学报,2004,24(1):54～58