摘要
小波分析是一种新兴的数学分析方法。本文将小波分析理论与传统神经网络理论相结合，用小波函数代替传统神经网络中的sigmoid函数，构成小波神经网络。
小波神经网络和前馈型神经网络均具有一致逼近和L~2逼近的能力。本文将小波神经网络用于逼近非线性函数，并从理论上讨论了它逼近函数的能力。小波神经网络是小波分析与传统神经网络结合而成的，这样就可以借助小波分析的有关理论来设计小波神经网络的结构。本文提出了根据逼近函数的时频空间区域来选择小波基函数，使这些小波基函数共同构成的时频空间区域覆盖完逼近函数的时频空间区域。为了使网络实用并且规模最小，提出了一种结构优化的方法。由于网络的输出与权值是线性关系，可以直接利用LS等方法进行权值修正。本文小波神经网络采用带动量因子的BP算法来修正网络的权值和减小逼近的误差。
最后，对于一个实际的非线性函数，用本文介绍的方法来设计小波神经网络来逼近函数，仿真结果表明该方法的有效性，并且表明小波神经网络在函数逼近上，网络的收敛速度快，逼近精度高的特点，并且网络具有很好的泛化能力和容错性。
Wavelet analysis is a rising mathematical analysis method. This paper combines theory of wavelet analysis with conventional neural network. Substituting wavelet function for sigmoid function in neural network, to form wavelet neural network.
Both wavelet neural network and neural network of feedforward have ability of coherent approximation and L2 approximation. This paper approximates non-linear function with wavelet neural network, whose ability of approximation function is discussed in theory. Wavelet neural network is a combination of wavelet analysis and conventional neural network, so structure of wavelet neural network can be designed with concerned theory of wavelet analysis. To choose wavelet function based on time-frequency region is put forward, time-frequency region composing of all of these wavelet functions can overlay wholly time-frequency region of non-linear function to approximate. In order to make wavelet neural network efficient and minimize structure of network, a novel method optimizing structure of wavelet neural network is advanced. Because it is linear relation between output of network and right of network, method of LS can be directly used to correct right of wavelet neural network. Arithmetic of back propagation with
momentum gene is used to correct right of network and minimize error of approximation.
Finally, take example for a non-linear function, method mentioned in this paper is used to design wavelet neural network to approximate this function. The computer simulations confirm the method that is brought out in this paper is useful, and prove that wavelet neural network has not only fast convergence and better precision of approximation, but also good capability of forecasting and escaping error.
引文
[1] Pati Y C and Krishnaprasad P S. Analysis and Synthesis of Feedforward Network using Discrete Affine Wavelet Transformations[J]. IEEE Trans on NN.1993, 4(1): 73-85
[2] Zhang Qinghua, Benvennise Albert. Wavelet networks. IEEE Trans on NN. 1992,3(6): 889-895
[3] Szu Harold H, Telfer Brain. Neural network adaptive wavelets for signal representation and classification. Optical Engineering, 1988, 41:909-996
[4] Baskshi B R and Stepphanopolous G. Wave-net: a Multiresolution, hierarchical neural network with localized learning. AIChE Journal, 1993, 39(1): 57-81
[5] Zhang Jun, et al. Wavelet neural networks for function learning. IEEE, trans on SP, 1995, 43(5): 1485-1497
[6] Boubez T and Peskin R I. Wavelet neural networks and receptive field partitioning. San Francisco: proc of IJCNN'93. (3), 1993, 1544-1549
[7] Liu Shan, et al. Direct Adaptive Control of Unknown Nonlinear System using Wavelet Approximation. Proceedings of the 1997 IEEE International Conference on Intelligent Processing Systems. Beijing, 1997(1):722-725
[8] Huang Dexian, Jin Yihui. The Application of Wavelet Neural Networks to Nonlinear Predicative Control. Proceedings of the 1997 IEEE International Conference on Neural Networks, Part 2 (of 4). 1997,724-727
[9] Huang Dexian, Wang Jingchun, Jin Yihui. Application Research of Wavelet Neural Networks in Process Control. Journal of Tsinghua Univ. (Sci. & Tech.), 1999, 39(1): 91-94
[10] Hunt K J, et al. Neural Networks for Nonlinear Internal Model Control. IEEE.Processing-D. 1991,138(5): 431-438
[11] Hunt K J, et al. Adaptive Filtering and Neural Networks for Realization of Internal Model Control. Intelligent Systems Engineering. 1993, 2(2): 67-76
[12] Piggio T, Girosi F. A Theory of Networks for Approximation and Learning. AI Memo No 1140,Artificial Intelligence Laboratory, Massachusetts Institute of Technology, Cambridge Mass, 1989
[13] Park J, Sandberg I W. Approximation and Radial Basis Function Networks. Neural Computation, 1993, 5
[14] Moody J, Darken C. Fast Learning in Networks of Locally tuned Processing Units. Neural Computation, 1989, (1): 281-294
[15] Cybenko G. Approximation by super positions of a sigmoid function. Math Control, Signals and System, 1989, 2(4)
[16] Daubechies I. Orthonomal bases of compactly supported wavelets. Communication on Pure and Applied Mathematics, 1988,41:909-996
[17] 吕朝霞，胡维礼，小波网络在控制中的应朋，信息与控制，2000，Vol．29．No．6，pp．532-540
[18] 石卓尔，焦李成，子波神经网络，西安：中国神经网络1993年学术大会论文集(上)，1993，85-96
[19] 丁宇新，沈雪勤，基于能量密度的小波神经网络，计算机学报，1997，20(9)，832-838
[20] 沈雪勤，能量密度在正交小波神经网络中的应用，1997年中国神经计算科学大会论文集，南京：CCNS'97(FG)，1997，613-616
[21] 王岭，焦李成．区间估计的FWNN及其区间学习算法，电子学报，1998，26(4)，41-45
[22] 张良杰，李衍达，基于模糊逻辑与神经网络技术的智能控制器自动设计系统的研究，信息与控制，25(3)，129-136
[23] 何振亚，用于信号逼近的自适应时延小波神经网络，电子科学学报，1998，20(5)，604-610
[24] 姚骏，基于离散小波变换的小波网络学习算法及其在心电信号识别中的应用，南京：CCNS'97(二)，1997，605-608
[25] 张邦礼，李银国，曹长修，小波神经网络的构造及其算法的鲁棒性分析，重庆大学学报(自然科学版)，1995，18(6)，88-96
[26] 李向武，韦岗，基于小波网络的动态系统辨识方法及应用，控制理论与应用，1998，15(4)：494-500
[27] 吕柏权，吕崇德，刘兆辉，一种用于函数学习的小波神经网络，自动化学报，1998，24(4)：548-551
[28] 李春文，冯元琨，多变量非线性控制的逆系统方法，北京：清华大学出版社，1991
[29]李春文，一种基于逆系统方法的化学反应器改进控制方案，控制与决策，1998，13(5)：577-580
[30]戴先中，刘军，连续非线性系统的神经网络阶逆系统控制方法，自动化学报，1998，24(4)：463-468
[31]戴先中，刘军，神经网络阶逆系统在离散非线性系统控制中的应用，控制与决策，1997，12(3)：217-221
[32]何丹，戴先中，NN阶逆系统内模控制及其在非线性大时延系统控制中的应用，东南大学学报，1998，28(5A)：78-82
[33]吕柏权，李天铎，一种基于小波网络的故障检测方法，控制理论与应用，1998，15(5)：802-805
[34]金晓明，荣冈，基于模糊模型的非线性内模控制策略研究．控制与决策，1997，12(3)：228-233
[35]李震，一种利用傅立叶快速变换实现频谱分析的方法，青海师专学报，2002，5：24-27
[36]汤笑笑，李介谷，基于小波神经网络的系统辨识方法，信息与控制，1998，27(4)：277-281
[37]吕朝霞，吴晓蓓，胡维礼，用于函数逼近的小波网络，系统工程与电子技术，2000，22(5)：43-45
[38]吕柏权，李天铎，刘兆辉，基于BP神经网络与小波的控制研究，系统仿真学报，1997，9(1)：40-48
[39]黄凤岗，孙文彦，王莹，一种自适应的小波神经网络，1998，26(8)：143-145
[40]施阳，徐德民，任章，基于小波网络的智能PID控制，中国控制会议论文集，1996，9：720-725
[41]杨福生，小波变换的工程分析与应用，北京：科学出版社，2000
[42]崔锦泰，程正兴，白居宪，小波分析导论，西安：西安交通大学出版社，1995
[43]程正兴，小波分析算法与应用，西安：西安交通大学出版社，1998
[44]胡昌华，张军波，夏军，基于MATLAB的系统分析与设计——小波分析，西安：电子科技大学出版社，1999
[45]李丽，王振领，MATLAB工程计算与应用，北京：人民邮电出版社，2001
[46]闻新，周露，王丹力，MATLAB神经网络应用设计，北京：科学出版社，2001
[47]陈昌灵，数字信号处理，上海：华东师范大学山版社，1993
[48]陶德元，黄本淑，数字信号处理原理及应用，成都：四川大学出版社，1991
[49]赵光宙，舒勤，信号分析与处理，机械工业出版社，2001
