摘要
递归神经网络学习算法一直是神经网络方向研究的热点,并且其应用也引起了科研爱好者的广泛关注。动态递归神经网络由于内部有自反馈,表现出很强的动态映射能力。目前训练二阶对角递归神经网络多采用DBP算法,本文针对该算法中的辨识精度和收敛速度等问题做进一步的深入研究和探讨。
首先,详细地介绍了递归神经网络结构,并且给出神经网络系统辨识的基本原理和网络辨识模型。
其次,针对训练二阶对角递归神经网络采用的梯度搜索算法中存在的问题,提出改进的梯度下降学习算法,并且给出了这种改进算法的收敛性证明。
然后,给出训练二阶对角递归神经网络的三种算法：DBP算法、改进DBP算法和RPROP算法和实现步骤,并将三种算法训练后的二阶对角递归神经网络用于非线性系统辨识,仿真结果表明：基于DBP算法的辨识精度不够理想且收敛速度慢,针对该算法存在的问题,采用了改进的DBP算法,辨识效果好于DBP算法；但是DBP算法和改进的DBP算法受梯度大小的影响较大。
最后,首次将RPROP算法引入用于训练二阶对角递归神经网络的权值,仿真结果表明：将RPROP算法与改进的DBP算法和DBP算法相比,RPROP算法的非线性系统辨识精度和收敛速度都要优于DBP算法和改进的DBP算法。
The learning algorithm of recurrent neural network has always been the hot spot of the neural network research, and its application also arouse entensive attention from research enthusiasts. Because dynamic recurrent neural network has the internal self-feedback, the result shows the highly dynamic capability. At present, second-order diagonal recurrent neural network is almost trained by using DBP algorithm, in this paper we will make the further study and discussion about the issues of identification accuracy and convergence speed in gradient descent algorithm.
First, the paper introduces the structure of recurrent neural network in detail; and the basic principle of the neural network system identification and network identification model is given.
Secondly, as the issue for the gradient search algorithm in second-order diagonal recurrent neural network, an improved gradient descent learning algorithm is proposed, and gives the convergence of improved algorithm.
Thirdly, the realization process of DBP algorithm, improved DBP algorithm and RPROP algorithm are given. when identifying nonlinear systems based on second order diagonal recurrent neural network, The simulation results show the identification accuracy and convergence speed based on the DBP algorithm is bigger and slow, in view of the faults of algorithm, improved DBP algorithm is adopted, identification effect is better than the DBP algorithm. But both DBP algorithm and improved DBP algorithm are largely influenced by the gradient.
Finally, primarily, RPROP algorithm is applied to train the SDRNN, the simulation results show that compared with the DBP algorithm and improved DBP algorithm, RPROP algorithm for nonlinear system in identification accuracy and convergence speed are superior to the DBP algorithm and improved DBP algorithm.
引文
[1]侯媛彬,汪梅,王立琦.系统辨识及其MATLAB仿真.北京：科学出版社,2004：10-52页
[2]杨明辉,阮晓钢.基于神经网络的系统辨识方法研究.北京工业大学硕士学位论文.2000(5)：8-15页
[3]王政,杨建华.基于神经网络的做动器系统辨识及控制研究.大连理工大学硕士学位论文.2006(6)：2-5页
[4]孙玮.智能算法在系统辨识中的研究应用.华北电力大学硕士学位论文.2008(5)：1-3页
[5]郑君里,杨行俊.人工神经网络.北京：高等教育出版社,1998：80-89页
[6]焦李成.神经网络计算.西安：西安电子科技大学出版社,1996：1-55页
[7]韩璞,焦篙鸣.人工神经网络在系统辨识中的研究与应用.华北电力大学硕士学位论文.2002.12页
[8]丁宏锴,萧蕴诗,李斌宇,岳继光.基于PSO-RBF NN的非线性系统辨识方法仿真研究.2005,17(8)：1826-1829页
[9]邹政达,孙雅明,张智晟.基于蚁群优化算法递归神经网络的短期负荷预测.电网技术.2005,2：59-62页
[10]谭福成,俞欢林.基于GA-BP算法的神经网络非线性系统辨识与仿真,高校理论研究科技信息,2003,419-420页
[11]胡云安,左斌,李静.退火递归神经网络极值搜索算法及其在无人机紧密编队飞行控制中的应用.控制理论与应用.2008,10：879-882页
[12]Jesus O D, Hagan M T. Backpropation algorithms for a broad class of dynamic networks. IEEE Transactions on Neural Networks,2007,18:14-27P
[13]Shao H M, Wu W, Li F, et al. Convergence of batch gradient algorithm for feedforward neural network training. Journal of Information and Computational Science,2007,4(1): 251-255P
[14]Ku Chao-Chee, Lee Kwang Y. Diagonal recurrent neural networks for Dynamic control. Reentrants Neural networks,1995,6(1):144-145P
[15]Kuan C M, Hornik K, White H. A convergence results for learning in recurrent neural networks. Neural Computation,1994(6):420-440P
[16]Xu D P, Li Z X, Wu W. Convergence of gradient descent algorithm for a recurrent neuron.Lecture Notes in Computer Science,2007,4913:117-122P
[17]Wu W, Feng G R, Li Z X, et al. Deterministic convergence of an online gradient method for BP neural networks.IEEE Transactions on Neural Networks,2005,16:533-540P
[18]徐东坡,吴微.递归神经网络梯度学习算法的收敛性.大连理工大学硕士学位论文.2009.3：1-45页
[19]李鸿儒,顾树生,邓长辉.递归神经网络的RPE算法及其在非线性动态系统建模中的应用.东北大学学报.2000,21(6)：590-593页
[20]李鸿儒,顾树生.一种递归神经网络的快速并行算法.自动化学报,2004,30(4)：516-522页
[21]杜云,田强,杜艳等.简单动态递归神经网络在非线性系统辨识中的应用.河北科技大学学报.2009,30(2)：130-135页
[22]高钦和,王孙安.基于Elman神经网络的非线性动态系统辨识.计算机工程与应用,2007,43(31)：87-89页
[23]于海波,马翠红.基于对角递归神经网络系统辨识及应用.微计算机信息.2007,23：216-217页
[24]薛力红,申东日,陈义俊等.基于改进遗传算法的神经网络模型辨识.计算机仿真,2004,21(12)：90-91.
[25]佘远俊.神经网络在非线性系统辨识中的应用.西南交通大学硕士学位论文.2005(5)：24-44页
[26]余远俊,张翠芳,鄢田云.粒子群神经网络及其在非线性系统辨识中的应用.2006,21(2)：244-246页
[27]张欣.递归神经网络的研究及在非线性动态系统辨识中的应用.太原理工大学硕士学位论文.2005：10-60页
[28]Ku Chao-Chee, Lee Kwang Y. Diagonal recurrent neural networks for dynamic control. Reentrants Neural networks,1995,6(1):144-145P
[29]C. C. Ku and K. Y. Lee. Diagonal recurrent neural network-based control:convergence and stability," American Contr. Conf.,1994:3340-3345P
[30]C. C. Ku and K. Y. Lee. Diagonal recurrent neural networks for controller designs, IEEE International Forum on Neural Networks to Power Systems,1993:87-92P
[31]C. C. Ku and K. Y. Lee, Diagonal recurrent neural network based control using adaptive learning rates, IEEE Conf.Decision and Contr. Tucson,Arizona,USA,1992:3485-3490P
[32]陈平,裘丽华,王占林.基于对角回归网络的非线性系统建模.北京航空航天大学学报.2003,3(29)：248-251页
[33]王晓燕.基于RPROP-SVR混合算法的DRNN网络非线性系统辨识.西南交通大学硕士学位论文.2009：33-55页
[34]Ali Kazemy, eyed Amin hosseini and Mohammad. Second order diagonal recurrent neural network. IEEE International Symposium on Industrial Electronics,2007, 251-256P
[35]丛爽,戴谊.递归神经网络的结构研究.计算机应用,2004(8)：18-20页
[36]丛爽,高雪鹏.几种递归神经网络及其在系统辨识中的应用.系统工程与电子技术,2003,25(2)：195-197页
[37]任颖.基于神经网络的复杂系统模型辨识技术及其应用研究.烟台大学硕士学位论文.2007(6)：1-28页
[38]魏东.非线性系统神经网络参数预测及控制.北京：机械工业出版社,200820-32页
[39]徐丽娜.神经网络控制.北京：电子工业出版社,2003,1-113页
[40]马松柏.机械振动系统神经网络辨识与控制的研究.哈尔滨工程大学硕士学位论文.2005(3)：1-35页
[41]闫晓燕.复杂环境激励下时变系统模态参数辨识方法研究.南京航空航天大学硕士学位论文.2008(1)：15-30页
[42]李军,张宇,王纪森.基于DRNN的非线性模型预测控制研究.计算机仿真.2010,27(8)：9-13页
[43]邹高峰,王正欧.基于回归神经网络的非线性时变系统辨识.控制与决策.2002(9)：517-521页
[44]段慧达,王建南,白晶.基于动态对角递归网络的变压器故障诊断.2007,23：214-215页
[45]杜福银,徐扬.基于递归神经网络的预测模糊控制.西南交通大学学报.2006,12：733-736.
[46]张会生,吴微.一种具有自适应动量因子的BP算法.大连海事大学学报.2008,34(4)：45-47页
[47]Wu W, Shao H M, Qu D. Strong convergence for gradient methods for BP networks training[C].Proceedings of 2005 International Conference on Neural Networks and Brains, IEEE Press, Beijing, China.2005:322-324P
[48]丁小帅.递归神经网络几个梯度学习算法的收敛性.大连理工大学硕士学位论文. 2007：20-35页
[49]P.Wang, Y. Li, S. Feng and W. Wei, "Convergence of diagonal recurrent neural networks learning," 4th Congress on Intelligent Control And Automat, Shanghai China,2002.(256): 2365-2369P
[50]谢庆国,沈轶,万淑芸.Elman人工神经网络的收敛性分析.计算机工程与应用.2006(2)：65-66页
[51]吴微,徐东坡,李正学.Elman网络梯度学习算法的收敛性.应用数学和力学.2008：29(9).1117-1123页
[52]D.Liu etal, Eds, Advances in neural networks:ISNN 2007,ser.Lecture Notes in Computer Science. Berlin, Germany:Springer,2007(1):493-498P
[53]Y.X.Yuan and W.Y.Sun, Optimization Theory and Methods. Beijing, CN:Science Press, 2001:1-100P
[54]冯浩,何鸿云,米祖强.基于改进遗传算法的递归神经网络非线性系统辨识.西南交通大学学报,2002,37(4)：404-407页
[55]毕革新.递归神经网络的动态系统辨识及其在船舶运动控制中的应用研究.硕士学位论文.大连：大连海事大学.2009：15-65页
[56]段慧达,郑德玲,刘聪.基于对角递归神经网络的建模及应用.北京科技大学学报.2004,26(1),103-106页
[57]翟彦景,解学军.具有BP算法的模糊、神经网络在非线性动态系统辨识中的应用.曲阜师范大学硕士学位.2007.4：28-56页
[58]谢华,董泽.小波神经网络在非线性系统辨识中的应用.华北电力大学硕士学位论文.2005：12-15页
[59]王立红,胡耀华.基于系统辨识的神经网络学习算法研究.大连海事大学硕士学位论文.2002.5：45-67页
[60]章国升,杨凌.基于递归神经网络的非线性系统辨识研究.兰州大学硕士学位论文.2010.6：30-55页