进化策略在参数估计中的应用
|
摘要
进化策略是模拟自然界的生物进化机制,人们设计出一种群智能搜索算法,该算法具有自组织、自适应和自学习等功能,它在不同学科领域已得到了广泛地应用。但在回归模型参数估计中应用并不多。回归模型参数估计是许多学科中常用的数学模型,如系统工程、自动化、机械工程、电力工程等,至今都是研究的重点问题之一。近年来,回归参数估计已有一些方法,如最小二乘法、极大似然法等,但是这些方法都是建立在具有连续导数的光滑搜索空间的假设基础上,并且沿梯度下降方向寻优的局部搜索技术在很多情况易陷入局部极值。基于此,本文将进化策略算法应用于回归模型参数估计,它可以弥补传统方法中一些不足。
针对目前传统参数估计方法存在的一些问题,本文主要利用进化策略自适应搜索、全局收敛、鲁棒性等特性,并且做了一些改进。本文提出了一种进化策略算法,它通用性好、搜索效率高、收敛速度快,该算法主要对分布密度函数中的参数、线性回归分析中参数以及非线性回归分析中参数进行估计。所得到参数估计与传统方法相比具有求解精度高、收敛速度快等优点。该方法在数理统计,系统工程等方面具有重要的理论价值和实际应用背景。
The evolution strategy is an algorithm which simulates the biological evolution mechanism, the people design a group intelligence search algorithm, it has intelligent characteristics of self-organizing, self-adapting, self-learning and so on, but the evolution strategy widely applied in many different scientific domains is less concerned in the regression model parameter estimation. The regression model parameter estimation is generally a mathematical model applied in many academics, such as systematic engineering, automation, mechanical engineering, electric power project and so on, To this day ,it is an important problem for research all the time. Recently, regression parameter estimation has already had some methods, such as least squares method, maximum likelihood method. But these methods are all based on the supposition that smooth searching space has continuous derivatives, and partial searching technology which seeks the optimization in the gradient dropping direction can easily lead to partial extreme value. Based on these, the evolution strategy algorithm is applied in carrying on the parameter estimation, which avoids some insufficiencies in the traditional methods.
In view of some problems in traditional parameter estimation method, this article mainly makes use of some characteristics of evolution strategy, especially such as self-adapting searching, global convergence, robustness, moreover makes some improvements. An evolution strategy algorithm which has the advantages of good universal property,high searching efficiency and fast convergence rate is given in this paper. This algorithm are mainly used to estimate the parameters in the distributive density function, linear and non-linear regression analysis, the parameter estimation values compare those obtained by the traditional methods which has the solution precision high, the convergence rate quick and so on the merits .Therefore, this method in the mathematical statistic, aspects systems engineering and so on has the important theory value and the practical application background.
针对目前传统参数估计方法存在的一些问题,本文主要利用进化策略自适应搜索、全局收敛、鲁棒性等特性,并且做了一些改进。本文提出了一种进化策略算法,它通用性好、搜索效率高、收敛速度快,该算法主要对分布密度函数中的参数、线性回归分析中参数以及非线性回归分析中参数进行估计。所得到参数估计与传统方法相比具有求解精度高、收敛速度快等优点。该方法在数理统计,系统工程等方面具有重要的理论价值和实际应用背景。
The evolution strategy is an algorithm which simulates the biological evolution mechanism, the people design a group intelligence search algorithm, it has intelligent characteristics of self-organizing, self-adapting, self-learning and so on, but the evolution strategy widely applied in many different scientific domains is less concerned in the regression model parameter estimation. The regression model parameter estimation is generally a mathematical model applied in many academics, such as systematic engineering, automation, mechanical engineering, electric power project and so on, To this day ,it is an important problem for research all the time. Recently, regression parameter estimation has already had some methods, such as least squares method, maximum likelihood method. But these methods are all based on the supposition that smooth searching space has continuous derivatives, and partial searching technology which seeks the optimization in the gradient dropping direction can easily lead to partial extreme value. Based on these, the evolution strategy algorithm is applied in carrying on the parameter estimation, which avoids some insufficiencies in the traditional methods.
In view of some problems in traditional parameter estimation method, this article mainly makes use of some characteristics of evolution strategy, especially such as self-adapting searching, global convergence, robustness, moreover makes some improvements. An evolution strategy algorithm which has the advantages of good universal property,high searching efficiency and fast convergence rate is given in this paper. This algorithm are mainly used to estimate the parameters in the distributive density function, linear and non-linear regression analysis, the parameter estimation values compare those obtained by the traditional methods which has the solution precision high, the convergence rate quick and so on the merits .Therefore, this method in the mathematical statistic, aspects systems engineering and so on has the important theory value and the practical application background.
引文
[1] 冯培悌.系统辩识. [M] .杭州:浙江大学出版社,1999.
[2] 蔡熠东,陈常庆等.用人工神经网络辩识发酵动力学模型参数 [J]. 生物数学学报,1994,9(4):103-107.
[3] D.E.Goldberg. Genetic Algorithm in Search Optimation and machine Learning,reading [J]. Ma:Addison-Wesley Publishing ,1989 ,chapter.1-3.
[4] 方开泰,张金廷.非线性回归参数估计的一个新算法[J]. 应用力学学报,1993(3):366-377.
[5] 赵明旺.非线性回归模型辨识的混合计算智能算法[J]. 系统工程理论与实践, 1997, 10:99-103.
[6] Jin Juling,Yang Xiaohua. accelerating Genetic Algorithm and its Application To estimating parameters of Environmental models[J]. Shanghai Environment science 1998,4:7-9.
[7] 熊银键 , 嵇启春.演化算法在非线性参数估计中的应用[J]. 西安建筑科技大学学报,1999,31(1):93-96.
[8] 陈金山 , 韦刚.一种线性回归模型参数估计的混合基因算法[J].电子与信息学报,2001.23(8):819-822.
[9] 杨桂元 , 唐小我.预测模型中参数估计的最优化方法[J].系统工程理论与实践2002,8:85-89.
[10] 郭朝有 , 贺国.遗传算法在非线性回归模型辩识中的应用[J].海军工程大学报,2003,4:70-73.
[11] 张兵 , 陈德钊.优进策略支持的进化规划估计反映动力学参数[J].高等化学工程学报,2004,10:639-642.
[12] 孙金玮 , 王庆龙.基于遗传算法的多功能传感器模型参数估计[J].哈尔滨工业大学学报,2004,4,286-289.
[13] 郑国庆 , 张国权.基于模拟退火算法的半参数线性回归模型的参数估计[J]. 华南农业大学学报,2006.,4,115-117.
[14] 陈伟 ,张从海 .混合模拟退火—遗传算法在参数估计中的应用[J].空间地理信息,2007,5(2):99-101.
[15] 王世华.遗传模拟退火算法在非线性最小二乘法中的应用[J].茂名学院学报,2007,17(4):59-62.
[16] 云庆夏.进化算法[M].北京:冶金工业出版社,2000.
[17] 李贤平 , 陈子毅.概率论与数理统计[M].上海:复旦大学出版社,2002.
[18] 谷耀新.三参数威布尔分布参数估计方法[J].沈阳工业学院学报,1997,1,27-29.
[19] 李剑 , 张群会.两参数威布尔分布中参数的极大似然估计量的迭代求解法[J]. 机械强度,1994,16(3):67-68.
[20] 李忠华 ,陈宇.三参数 Weibull 分布的极大似然估计[J].绝缘材料通讯,1997,6,30-33.
[21] 陈金山 ,韦岗.一种新的非线性回归模型参数估计算法[J].控制理论与应用,2001,18(5):808-810.
[22] 龙作友 , 王丰.大学物理实验[M]. 武汉.湖北科学技术出版社,2003.
[23] 石玉. 提高实数遗传算法数值优化效率的研究[D]. 南京:南京航空航天大学,2002:
[24] 蒋学军 ,王秀荷.一般线性回归模型的参数估计[J].云南大学学报(自然科学版),2005,14(4):340-342.
[25] 潘正君,康立山.演化计算[M].北京:清华大学出版社,1998.
[26] J.M.Render,S.P.Flasse.Hybrid methods using genetic algorithma for global optimization[J].IEEE,Trans.onSystem,Man,andCybernetics(PartB),1996,26(243-258
[27] 何长英.演化计算在参数估计中的应用[D]. 武汉.武汉大学,2004.
[28] 蔡 煜 东 , 陈 常 庆 . 用 遗 传 算 法 辨 识 发 酵 动 力 学 模 型 参 数 [J]. 化 工 学报,1995,46(3):338-342.
[29] 蔡煜东 , 陈常庆.用人工神经网络辨识发酵动力学模型参数[J].生物数学学报, 1994,9(4):103-107.
[30] 郭朝有 ,贺国.遗传算法在非线性回归模型辩识中的应用[J].海军工程大学学报,2003,15(2):70-73.
[31] 周建新,刘玉桐.用遗传基因算法实现切削实验数据拟合.西南石油学院学报,1998,8,62-63.
[32] Dempster A,Laird N,Rubin D.Maximum likelihood estimation from incomplete data via EM algorithm[J]. J.Royal Statistical Society Series B,1977,39,1-38.
[33] 朱显海 , 鹿长余.回归系数的非齐次线性估计的可容许性[J].应用概率统计,1986,2(2):97-99.
[34] Nash J C and Walker Smith M.Nonlinear Parameter Estimation[J].New York :Marcel Dekker Inc,1987.
[35] 王华胜 , 李忠厚.耗损故障的三参数 W eibull 分布极大似然估计方法[J].中国铁道科学,2004,25(5):39-42.
[36] Ratkow sky D A.非线性回归模型——统一的实用方法[M].南京,南京大学出版社,1986.
[37] 谢民育.多元回归系数线性估计的可容许性.科学通报[J].1989,34,144-1449.
[38] 陈清平 , 孙六全.一般多元回归模型中共同均值参数的线性估计的可容许性[J].华中师范大学学报,1996,30(2):125-129.
[39] 王新洲 . 非线性模型参数估计的直接解法 [J]. 武汉测绘科技大学学报,1999,24(1):64-67.
[40] 郑国庆 , 张国权.基于模拟退火算法的半参数线性回归模型的参数估计[J].华南农业大学学报,2006,4,115-117.
[41] 刘刚 , 李信俊.模拟电路故障诊断参数估计及其遗传算法[J].电光与控制,1998,4,10-14.
[42] 张勇.应用线性回归模型[M]. 北京.中国统计出版社,1990.
[43] Vittorio M, Genetic Evolution of the Topology and Weight Distribution of Neural networks [J] IEEE,Trans on Neural Networks,1994,5(1):January.
[44] BICKEL P.J.On adaptive estimation.Ann Statist,1982,10,647-671.
[45] MONTEGOMERY D C,PECK E A.Introduction to linear regression analysis.New York,John Wiley,1992,297-316.
[46] A hmad K E.Modified weighted least-squares for the three2parameter Weibull distribution.Applied Mathematics Letters,1994,7(5):53-56.
[47] Q iao H Z, Tsoko s C P. Estimation of the three pa2rameter Weibull probability distribution.Mathe2matics and Computers in Simulation,1995,39(122):173-185.
[48] Pregibon D. Book review of P McCullagh and Nelder J A.Generalized linear models.The A nnals of Statistics,1984,12,1589-1596.
[49] 茆诗松 ,丁元.回归分析及其实验设计[M].上海.华东师范大学出版社,1981.
[50] 韦博成.近代非线性回归分析[M].南京.东南大学出版社,1989.
[51] 冯士雍.回归分析方法[M].北京.科学出版社,1985.
[52] 魏宗舒.概率论与数理统计教程[M].北京.高等教育出版社,1983.
[53] 郑国清 , 孙书安.纯非线性回归模型参数估计的新方法及应用[J].河南大学学报,1995,29(2):200-204.
[54] 金菊良 , 杨晓华.基因算法在 Logistic 曲线参数估计中的应用[J].农业系统科学与综合研究,1997,13(3): 186-190.
[55] 王占权 , 赵朝义.进化策略中基于柯西分布的变异算子改进探讨[J].系统工程,1997,17(4):49-54.
[56] 高铁红 , 吴晓龙.非线性变参数估计的遗传算法[J].河北工业大学学报,2000,29(4): 62-65.
[57] 石立宝 , 郝晋.非线性回规模参数估计的自适应进化规划算法[J].仪器仪表学报,2001,22(4): 347-349.
[58] 陈金山 , 韦岗,一种新的非线性回归模型参数估计算法[J].控制理论与应用,2001,18(5):808-810.
[59] 张世强.非线性生物模型回归参数计算的一个新方法及应用[J].重庆医科大学学报,2003,28(6):754-757.
[60] 胡健闻,曾益.演化非线性参数估计在 PID 控制器设计中的应用[J].计算机仿真.2004,21(5): 86-88.
[61] 苏成利 , 徐志成等.PSO 算法在非线性系统模型参数估计中的应用[J].信息与控制,2005,34(1):123-125.
[62] 高歌 , 罗金生.通用遗传算法估算化学及生化反映动力学参数[J].计算机与应用化学,2005,22(10): 915-917.
[63] 桂传友.杨氏弹性模量测量实验的优化设计[J].巢湖学院学报,2005,7(3): 63-66.
[64] 陈伟,张从海.混合模拟退火-遗传算法在参数估计中的应用[J].地理空间信息,2007,5(2):99-101.
[65] 郑国萍,赵立强.多元线性回归模型参数估计的递推算法及误差分析[J].大学数学,2007,23(3):78-82.
[66] 唐淑琴,武颖琪.基于遗传算法的非线性参数估计器[J].系统仿真学报,1995,7(4):43-47.
[67] 蔡煜东,陈德辉.生态学数学模型参数优化估计的遗传算法[J].生态数学学报,1995,10(4):61-64.
[68] 孙 晓 云 , 蔡 远 利 . 利 用 改 进 遗 传 算 法 的 参 数 估 计 [J]. 控 制 理 论 与 应用,2004,23(1): 23-25.
[69] 孙晓云,高鑫.新型并行遗传算法及其在参数估计中的应用[J].计算机工程与应用,2005,19 ,50-52.
[70] 黄敏,彦学峰.差分进化算法的性能分析及其动力学模型参数估计[J].计算机与应用化学,2007,24(4): 445-447.
[2] 蔡熠东,陈常庆等.用人工神经网络辩识发酵动力学模型参数 [J]. 生物数学学报,1994,9(4):103-107.
[3] D.E.Goldberg. Genetic Algorithm in Search Optimation and machine Learning,reading [J]. Ma:Addison-Wesley Publishing ,1989 ,chapter.1-3.
[4] 方开泰,张金廷.非线性回归参数估计的一个新算法[J]. 应用力学学报,1993(3):366-377.
[5] 赵明旺.非线性回归模型辨识的混合计算智能算法[J]. 系统工程理论与实践, 1997, 10:99-103.
[6] Jin Juling,Yang Xiaohua. accelerating Genetic Algorithm and its Application To estimating parameters of Environmental models[J]. Shanghai Environment science 1998,4:7-9.
[7] 熊银键 , 嵇启春.演化算法在非线性参数估计中的应用[J]. 西安建筑科技大学学报,1999,31(1):93-96.
[8] 陈金山 , 韦刚.一种线性回归模型参数估计的混合基因算法[J].电子与信息学报,2001.23(8):819-822.
[9] 杨桂元 , 唐小我.预测模型中参数估计的最优化方法[J].系统工程理论与实践2002,8:85-89.
[10] 郭朝有 , 贺国.遗传算法在非线性回归模型辩识中的应用[J].海军工程大学报,2003,4:70-73.
[11] 张兵 , 陈德钊.优进策略支持的进化规划估计反映动力学参数[J].高等化学工程学报,2004,10:639-642.
[12] 孙金玮 , 王庆龙.基于遗传算法的多功能传感器模型参数估计[J].哈尔滨工业大学学报,2004,4,286-289.
[13] 郑国庆 , 张国权.基于模拟退火算法的半参数线性回归模型的参数估计[J]. 华南农业大学学报,2006.,4,115-117.
[14] 陈伟 ,张从海 .混合模拟退火—遗传算法在参数估计中的应用[J].空间地理信息,2007,5(2):99-101.
[15] 王世华.遗传模拟退火算法在非线性最小二乘法中的应用[J].茂名学院学报,2007,17(4):59-62.
[16] 云庆夏.进化算法[M].北京:冶金工业出版社,2000.
[17] 李贤平 , 陈子毅.概率论与数理统计[M].上海:复旦大学出版社,2002.
[18] 谷耀新.三参数威布尔分布参数估计方法[J].沈阳工业学院学报,1997,1,27-29.
[19] 李剑 , 张群会.两参数威布尔分布中参数的极大似然估计量的迭代求解法[J]. 机械强度,1994,16(3):67-68.
[20] 李忠华 ,陈宇.三参数 Weibull 分布的极大似然估计[J].绝缘材料通讯,1997,6,30-33.
[21] 陈金山 ,韦岗.一种新的非线性回归模型参数估计算法[J].控制理论与应用,2001,18(5):808-810.
[22] 龙作友 , 王丰.大学物理实验[M]. 武汉.湖北科学技术出版社,2003.
[23] 石玉. 提高实数遗传算法数值优化效率的研究[D]. 南京:南京航空航天大学,2002:
[24] 蒋学军 ,王秀荷.一般线性回归模型的参数估计[J].云南大学学报(自然科学版),2005,14(4):340-342.
[25] 潘正君,康立山.演化计算[M].北京:清华大学出版社,1998.
[26] J.M.Render,S.P.Flasse.Hybrid methods using genetic algorithma for global optimization[J].IEEE,Trans.onSystem,Man,andCybernetics(PartB),1996,26(243-258
[27] 何长英.演化计算在参数估计中的应用[D]. 武汉.武汉大学,2004.
[28] 蔡 煜 东 , 陈 常 庆 . 用 遗 传 算 法 辨 识 发 酵 动 力 学 模 型 参 数 [J]. 化 工 学报,1995,46(3):338-342.
[29] 蔡煜东 , 陈常庆.用人工神经网络辨识发酵动力学模型参数[J].生物数学学报, 1994,9(4):103-107.
[30] 郭朝有 ,贺国.遗传算法在非线性回归模型辩识中的应用[J].海军工程大学学报,2003,15(2):70-73.
[31] 周建新,刘玉桐.用遗传基因算法实现切削实验数据拟合.西南石油学院学报,1998,8,62-63.
[32] Dempster A,Laird N,Rubin D.Maximum likelihood estimation from incomplete data via EM algorithm[J]. J.Royal Statistical Society Series B,1977,39,1-38.
[33] 朱显海 , 鹿长余.回归系数的非齐次线性估计的可容许性[J].应用概率统计,1986,2(2):97-99.
[34] Nash J C and Walker Smith M.Nonlinear Parameter Estimation[J].New York :Marcel Dekker Inc,1987.
[35] 王华胜 , 李忠厚.耗损故障的三参数 W eibull 分布极大似然估计方法[J].中国铁道科学,2004,25(5):39-42.
[36] Ratkow sky D A.非线性回归模型——统一的实用方法[M].南京,南京大学出版社,1986.
[37] 谢民育.多元回归系数线性估计的可容许性.科学通报[J].1989,34,144-1449.
[38] 陈清平 , 孙六全.一般多元回归模型中共同均值参数的线性估计的可容许性[J].华中师范大学学报,1996,30(2):125-129.
[39] 王新洲 . 非线性模型参数估计的直接解法 [J]. 武汉测绘科技大学学报,1999,24(1):64-67.
[40] 郑国庆 , 张国权.基于模拟退火算法的半参数线性回归模型的参数估计[J].华南农业大学学报,2006,4,115-117.
[41] 刘刚 , 李信俊.模拟电路故障诊断参数估计及其遗传算法[J].电光与控制,1998,4,10-14.
[42] 张勇.应用线性回归模型[M]. 北京.中国统计出版社,1990.
[43] Vittorio M, Genetic Evolution of the Topology and Weight Distribution of Neural networks [J] IEEE,Trans on Neural Networks,1994,5(1):January.
[44] BICKEL P.J.On adaptive estimation.Ann Statist,1982,10,647-671.
[45] MONTEGOMERY D C,PECK E A.Introduction to linear regression analysis.New York,John Wiley,1992,297-316.
[46] A hmad K E.Modified weighted least-squares for the three2parameter Weibull distribution.Applied Mathematics Letters,1994,7(5):53-56.
[47] Q iao H Z, Tsoko s C P. Estimation of the three pa2rameter Weibull probability distribution.Mathe2matics and Computers in Simulation,1995,39(122):173-185.
[48] Pregibon D. Book review of P McCullagh and Nelder J A.Generalized linear models.The A nnals of Statistics,1984,12,1589-1596.
[49] 茆诗松 ,丁元.回归分析及其实验设计[M].上海.华东师范大学出版社,1981.
[50] 韦博成.近代非线性回归分析[M].南京.东南大学出版社,1989.
[51] 冯士雍.回归分析方法[M].北京.科学出版社,1985.
[52] 魏宗舒.概率论与数理统计教程[M].北京.高等教育出版社,1983.
[53] 郑国清 , 孙书安.纯非线性回归模型参数估计的新方法及应用[J].河南大学学报,1995,29(2):200-204.
[54] 金菊良 , 杨晓华.基因算法在 Logistic 曲线参数估计中的应用[J].农业系统科学与综合研究,1997,13(3): 186-190.
[55] 王占权 , 赵朝义.进化策略中基于柯西分布的变异算子改进探讨[J].系统工程,1997,17(4):49-54.
[56] 高铁红 , 吴晓龙.非线性变参数估计的遗传算法[J].河北工业大学学报,2000,29(4): 62-65.
[57] 石立宝 , 郝晋.非线性回规模参数估计的自适应进化规划算法[J].仪器仪表学报,2001,22(4): 347-349.
[58] 陈金山 , 韦岗,一种新的非线性回归模型参数估计算法[J].控制理论与应用,2001,18(5):808-810.
[59] 张世强.非线性生物模型回归参数计算的一个新方法及应用[J].重庆医科大学学报,2003,28(6):754-757.
[60] 胡健闻,曾益.演化非线性参数估计在 PID 控制器设计中的应用[J].计算机仿真.2004,21(5): 86-88.
[61] 苏成利 , 徐志成等.PSO 算法在非线性系统模型参数估计中的应用[J].信息与控制,2005,34(1):123-125.
[62] 高歌 , 罗金生.通用遗传算法估算化学及生化反映动力学参数[J].计算机与应用化学,2005,22(10): 915-917.
[63] 桂传友.杨氏弹性模量测量实验的优化设计[J].巢湖学院学报,2005,7(3): 63-66.
[64] 陈伟,张从海.混合模拟退火-遗传算法在参数估计中的应用[J].地理空间信息,2007,5(2):99-101.
[65] 郑国萍,赵立强.多元线性回归模型参数估计的递推算法及误差分析[J].大学数学,2007,23(3):78-82.
[66] 唐淑琴,武颖琪.基于遗传算法的非线性参数估计器[J].系统仿真学报,1995,7(4):43-47.
[67] 蔡煜东,陈德辉.生态学数学模型参数优化估计的遗传算法[J].生态数学学报,1995,10(4):61-64.
[68] 孙 晓 云 , 蔡 远 利 . 利 用 改 进 遗 传 算 法 的 参 数 估 计 [J]. 控 制 理 论 与 应用,2004,23(1): 23-25.
[69] 孙晓云,高鑫.新型并行遗传算法及其在参数估计中的应用[J].计算机工程与应用,2005,19 ,50-52.
[70] 黄敏,彦学峰.差分进化算法的性能分析及其动力学模型参数估计[J].计算机与应用化学,2007,24(4): 445-447.