支持向量机的基本理论和研究进展
|
摘要
作为一种新的机器学习方法,依据结构风险最小原理,支持向量机表现出独特的泛化和推广能力,已逐渐成为国内外机器学习研究的热点之一。简要回顾了传统支持向量机的发展历史与基本理论,介绍了支持向量机的改进算法,系统总结了支持向量机在分类与回归问题中的具体应用实例及其优势。经过近30年的发展,出现了诸多改进的支持向量机算法,支持向量机的理论逐渐完善,其应用也得以深入各个研究领域,在解决小样本数据的分类与回归问题具有良好的应用优势,在智能故障诊断、图像处理、石油探勘与开发、说话人识别、水质检测与评价、金融预测、气象预测等方面获得了良好的应用效果。
As a new kind of machine learning method,according to the principle of minimum structural risk,support vector machine(SVM)shows unique generalization and popularization ability.It has become one of the hotspots of machine learning research at home and abroad.The development history and basic theory of traditional SVM are briefly reviewed,the improved algorithm of support vector machine is introduced,the application examples and advantages of support vector machine(SVM)in classification and regression are summarized systematically.After nearly 30 years of development,a number of improved support vector machine algorithms have been emerged.The theory of support vector machines has been improved gradually,and its application has been introduced to various research fields.It has good application advantages for classification and regression of small sample data,good application effect is obtained in the intelligent trouble diagnosis,image processing,petroleum exploration and development,the speaker recognition,the water quality testing and evaluation,financial forecast,the weather forecast and so on.
As a new kind of machine learning method,according to the principle of minimum structural risk,support vector machine(SVM)shows unique generalization and popularization ability.It has become one of the hotspots of machine learning research at home and abroad.The development history and basic theory of traditional SVM are briefly reviewed,the improved algorithm of support vector machine is introduced,the application examples and advantages of support vector machine(SVM)in classification and regression are summarized systematically.After nearly 30 years of development,a number of improved support vector machine algorithms have been emerged.The theory of support vector machines has been improved gradually,and its application has been introduced to various research fields.It has good application advantages for classification and regression of small sample data,good application effect is obtained in the intelligent trouble diagnosis,image processing,petroleum exploration and development,the speaker recognition,the water quality testing and evaluation,financial forecast,the weather forecast and so on.
引文
[1]Vapnik V.The nature of statistical learning theory[M].2nd edition.New York:springer-verlag,1999.
[2]Burges J C.A tutorial on support vector machines for pattern recognition[J].Data Mining and Knowledge Discovery,1998,2(2):121~167.
[3]Alex J,Smola,Bernhard S.A tutorial on support vector regression[J].Statistics and Computing,2004,14(3):199~222.
[4]Vapnik V N.Statistical learningtheory[M].NewYork:Wiley,1998.
[5]冼广淋,骆雪超,肖宇峰.统计学习理论与支持向量机[J].中国科技信息,2005(12):178~181.
[6]John S T,Peter L,Bartlett R C,et al.A framework for structural risk minimization[C].9th Annual Conference on Computational LearningTheory,1996:68~76.
[7]Lin C F,Wang S D.Fuzzy support vector machines[J].IEEE Transaction on Neural Networks,2002,13(2):464~471.
[8]Lin C F,Wang S D.Fuzzy support vector machines with automatic membership setting[J].Stud Fuzz,2005,177:233~254.
[9]Suykens J A K,Vandewalle J.Least square support vector machines classifiers[J].Neural Processing Letters(S1370-4621),1999,9(3):293~300.
[10]李红莲,王春花,袁保宗.一种改进的支持向量机NN-SVM[J].计算机报,2003,26(8):1015~1020.
[11]郭亚琴,王正群.一种改进的支持向量机BS-SVM[J].微电子学与计算机,2010,27(6):54~56.
[12]阎满富,王朝霞.不确定的中心支持向量机[J].计算机工程与应用,2007(25):96~97,110.
[13]李元诚,方廷健.小波支持向量机[J].模式识别与人工智能,2004,17(2):167~172.
[14]张庆,阎满富.改进的推理型支持向量机[J].数学的实践与认识,2008,38(9):136~140.
[15]董明,孟源源,徐长响,等.基于支持向量机及油中溶解气体分析的大型电力变压器故障诊断模型研究[J].中国电机工程学报,2003,23(7):88~92.
[16]张周锁,李凌均,何正嘉.基于支持向量机的机械故障诊断方法研究[J].西安交通大学学报,2002,36(12):1303~1306.
[17]郑水波,唐厚君,韩正之,等.基于支持向量机的ESP系统传感器故障诊断方法[J].系统仿真学报,2005,17(3):682~684,717.
[18]袁胜发,杜红霞.基于支持向量机和人工免疫的机械故障诊断方法研究[J].制造技术与机床,2005(10):28~31.
[19]凌旭峰,杨杰,叶晨洲.基于支撑向量机的人脸识别技术[J].红外与激光工程,2001,30(5):318~322,327.
[20]张燕昆,杜平,刘重庆.基于主元分析与支持向量机的人脸识别方法[J].上海交通大学学报,2002,36(6):884~886.
[21]段立娟,崔国勤,高文,等.多层次特定类型图像过滤方法[J].计算机辅助设计与图形学学报,2002,14(5):404~409.
[22]李三平,张毓森,尹康银.基于支持向量机的小波域图像水印算法[J].系统工程与电子技术,2008,30(2):354~357.
[23]周继宏,袁瑞.基于支持向量机的复杂碎屑岩储层岩性识别[J].石油天然气学报(江汉石油学院学报),2012,34(7):72~75,6.
[24]袁瑞.塔河油田复杂碎屑岩岩性识别方法[J].石油钻探技术,2014,42(6):64~67.
[25]张翔,肖小玲,严良俊,等.基于模糊支持向量机方法的岩性识别[J].石油天然气学报(江汉石油学院学报),2009,31(6):115~118,184.
[26]龙熙华,张兵,高凯.超球体支持向量机在测井岩性识别中的应用[J].数学的实践与认识,2013,43(18):110~115.
[27]忻栋,杨莹春,吴朝晖.基于SVM-HMM混合模型的说话人确认[J].计算机辅助设计与图形学学报,2002(11):1080~1082.
[28]金焕梅.基于支持向量机的短语音说话人识别[D].长春:吉林大学,2012.
[29]李明,张勇,李军权,等.改进PSO-SVM在说话人识别中的应用[J].电子科技大学学报,2007,36(6):1345~1349.
[30]张振领.基于支持向量机和小波分析的说话人识别技术研究[D].武汉:武汉理工大学,2007.
[31]刘悦.基于小波支持向量机的P2P流量识别技术研究[D].开封:河南大学,2010.
[32]聂盼盼,臧洌,刘雷雷.基于对支持向量机的多类分类算法在入侵检测中的应用[J].计算机应用,2013,33(2):426~429.
[33]刘丽珍,贺海军,陆玉昌,等.支持向量机在网页信息分类中的应用研究[J].小型微型计算机系统,2007,28(2):337~340.
[34]陈为民.基于支持向量机的信用卡信用风险管理模型与技术研究[D].长沙:湖南大学,2009.
[35]成洪静.基于支持向量机的银行信贷风险评估模型研究[D].太原:太原科技大学,2008.
[36]汪晓玲.基于支持向量机的银行客户个人信用评估研究[D].西安:西北工业大学,2007.
[37]唐孝.支持向量机及其在心电图分类识别中的应用[D].成都:四川师范大学,2007.
[38]吴剑锋,吴群,孙守迁.简约支持向量机分类算法在下肢动作识别中的应用研究[J].中国机械工程,2011,22(4):433~438.
[39]王浩军,郑崇勋,李映,等.支持向量机在血细胞分类中的应用[J].生物医学工程学杂志,2003,20(3):484~487.
[40]王博,韩合.内梅罗指数法在水质评价中的应用及缺陷[J].中国城乡企业卫生,2005(6):16~17.
[41]杨磊磊,卢文喜,黄鹤,等.改进内梅罗污染指数法和模糊综合法在水质评价中的应用[J].水电能源科学,2012,30(6):41~44.
[42]安宇翔.灰色聚类法在水质评价中的应用[J].水科学与工程技术,2014(2):69~72.
[43]杜刚.改进的BP神经网络在地下水质评价中的应用[D].上海:上海师范大学,2007.
[44]马文涛.支持向量机回归方法在地表水水质评价中的应用[J].数学的实践与认识,2007,37(9):45~50.
[45]陈琳,刘俊民,刘小学.支持向量机在地下水水质评价中的应用[J].西北农林科技大学学报(自然科学版),2010,38(11):221~226.
[46]张秀菊,安焕,赵文荣,等.基于支持向量机的水质预测应用实例[J].中国农村水利水电,2015(1):85~89.
[47]顾红其.支持向量机在期货价格预测中的应用研究[J].计算机仿真,2010,27(12):358~360,385.
[48]祝金荣.基于支持向量机的石油期货价格预测[J].工业技术经济,2007,26(2):59~61.
[49]吴江,李太勇.基于加权支持向量机的金融时间序列预测[J].商业研究,2010(1):138~140.
[50]胡邦辉,刘丹军,王学忠,等.最小二乘支持向量机在云量预报中的应用[J].气象科学,2011,31(2):187~193.
[51]王振友,叶丽婷,牛庆敏.大气中臭氧含量分析预测的支向量机模型[J].数学的实践与认识,2008,38(9):52~56.
[52]滕卫平,俞善贤,胡波.基于支持向量机的浙江汛期旱涝预测方法研究[J].气象科技,2008(2):139~144.
[53]段永健.基于时间序列与支持向量机的信号识别模型及预测[D].济南:山东大学,2010.
[54]张秋凝,赵惠玲.基于支持向量机的波达方向估计[J].科学技术与工程,2012,12(6):1409~1411.
[55]郭建华,杨海东.基于支持向量机免疫集成预测的电信网络性能监控[J].中南大学学报(自然科学版),2012,43(3):1020~1026.
[56]雷金波.基于逻辑回归和支持向量机的设备状态退化评估与趋势预测研究[D].上海:上海交通大学,2008.
[57]李凌均,张周锁,何正嘉.基于支持向量机的机械设备状态趋势预测研究[J].西安交通大学学报,2004,38(3):230~233,238.
[58]徐国平.基于支持向量机的动调陀螺仪寿命预测方法研究[D].上海:上海交通大学,2008.
[59]陈立波,宋兰琪,宋科,等.基于支持向量机的航空发动机磨损趋势预测[J].润滑与密封,2008,33(5):84~87.
[60]蒋爱武,谢寿生.基于支持向量机和粒子群算法的压气机特性计算[J].航空动力学报,2010,25(11):2571~2577.
[2]Burges J C.A tutorial on support vector machines for pattern recognition[J].Data Mining and Knowledge Discovery,1998,2(2):121~167.
[3]Alex J,Smola,Bernhard S.A tutorial on support vector regression[J].Statistics and Computing,2004,14(3):199~222.
[4]Vapnik V N.Statistical learningtheory[M].NewYork:Wiley,1998.
[5]冼广淋,骆雪超,肖宇峰.统计学习理论与支持向量机[J].中国科技信息,2005(12):178~181.
[6]John S T,Peter L,Bartlett R C,et al.A framework for structural risk minimization[C].9th Annual Conference on Computational LearningTheory,1996:68~76.
[7]Lin C F,Wang S D.Fuzzy support vector machines[J].IEEE Transaction on Neural Networks,2002,13(2):464~471.
[8]Lin C F,Wang S D.Fuzzy support vector machines with automatic membership setting[J].Stud Fuzz,2005,177:233~254.
[9]Suykens J A K,Vandewalle J.Least square support vector machines classifiers[J].Neural Processing Letters(S1370-4621),1999,9(3):293~300.
[10]李红莲,王春花,袁保宗.一种改进的支持向量机NN-SVM[J].计算机报,2003,26(8):1015~1020.
[11]郭亚琴,王正群.一种改进的支持向量机BS-SVM[J].微电子学与计算机,2010,27(6):54~56.
[12]阎满富,王朝霞.不确定的中心支持向量机[J].计算机工程与应用,2007(25):96~97,110.
[13]李元诚,方廷健.小波支持向量机[J].模式识别与人工智能,2004,17(2):167~172.
[14]张庆,阎满富.改进的推理型支持向量机[J].数学的实践与认识,2008,38(9):136~140.
[15]董明,孟源源,徐长响,等.基于支持向量机及油中溶解气体分析的大型电力变压器故障诊断模型研究[J].中国电机工程学报,2003,23(7):88~92.
[16]张周锁,李凌均,何正嘉.基于支持向量机的机械故障诊断方法研究[J].西安交通大学学报,2002,36(12):1303~1306.
[17]郑水波,唐厚君,韩正之,等.基于支持向量机的ESP系统传感器故障诊断方法[J].系统仿真学报,2005,17(3):682~684,717.
[18]袁胜发,杜红霞.基于支持向量机和人工免疫的机械故障诊断方法研究[J].制造技术与机床,2005(10):28~31.
[19]凌旭峰,杨杰,叶晨洲.基于支撑向量机的人脸识别技术[J].红外与激光工程,2001,30(5):318~322,327.
[20]张燕昆,杜平,刘重庆.基于主元分析与支持向量机的人脸识别方法[J].上海交通大学学报,2002,36(6):884~886.
[21]段立娟,崔国勤,高文,等.多层次特定类型图像过滤方法[J].计算机辅助设计与图形学学报,2002,14(5):404~409.
[22]李三平,张毓森,尹康银.基于支持向量机的小波域图像水印算法[J].系统工程与电子技术,2008,30(2):354~357.
[23]周继宏,袁瑞.基于支持向量机的复杂碎屑岩储层岩性识别[J].石油天然气学报(江汉石油学院学报),2012,34(7):72~75,6.
[24]袁瑞.塔河油田复杂碎屑岩岩性识别方法[J].石油钻探技术,2014,42(6):64~67.
[25]张翔,肖小玲,严良俊,等.基于模糊支持向量机方法的岩性识别[J].石油天然气学报(江汉石油学院学报),2009,31(6):115~118,184.
[26]龙熙华,张兵,高凯.超球体支持向量机在测井岩性识别中的应用[J].数学的实践与认识,2013,43(18):110~115.
[27]忻栋,杨莹春,吴朝晖.基于SVM-HMM混合模型的说话人确认[J].计算机辅助设计与图形学学报,2002(11):1080~1082.
[28]金焕梅.基于支持向量机的短语音说话人识别[D].长春:吉林大学,2012.
[29]李明,张勇,李军权,等.改进PSO-SVM在说话人识别中的应用[J].电子科技大学学报,2007,36(6):1345~1349.
[30]张振领.基于支持向量机和小波分析的说话人识别技术研究[D].武汉:武汉理工大学,2007.
[31]刘悦.基于小波支持向量机的P2P流量识别技术研究[D].开封:河南大学,2010.
[32]聂盼盼,臧洌,刘雷雷.基于对支持向量机的多类分类算法在入侵检测中的应用[J].计算机应用,2013,33(2):426~429.
[33]刘丽珍,贺海军,陆玉昌,等.支持向量机在网页信息分类中的应用研究[J].小型微型计算机系统,2007,28(2):337~340.
[34]陈为民.基于支持向量机的信用卡信用风险管理模型与技术研究[D].长沙:湖南大学,2009.
[35]成洪静.基于支持向量机的银行信贷风险评估模型研究[D].太原:太原科技大学,2008.
[36]汪晓玲.基于支持向量机的银行客户个人信用评估研究[D].西安:西北工业大学,2007.
[37]唐孝.支持向量机及其在心电图分类识别中的应用[D].成都:四川师范大学,2007.
[38]吴剑锋,吴群,孙守迁.简约支持向量机分类算法在下肢动作识别中的应用研究[J].中国机械工程,2011,22(4):433~438.
[39]王浩军,郑崇勋,李映,等.支持向量机在血细胞分类中的应用[J].生物医学工程学杂志,2003,20(3):484~487.
[40]王博,韩合.内梅罗指数法在水质评价中的应用及缺陷[J].中国城乡企业卫生,2005(6):16~17.
[41]杨磊磊,卢文喜,黄鹤,等.改进内梅罗污染指数法和模糊综合法在水质评价中的应用[J].水电能源科学,2012,30(6):41~44.
[42]安宇翔.灰色聚类法在水质评价中的应用[J].水科学与工程技术,2014(2):69~72.
[43]杜刚.改进的BP神经网络在地下水质评价中的应用[D].上海:上海师范大学,2007.
[44]马文涛.支持向量机回归方法在地表水水质评价中的应用[J].数学的实践与认识,2007,37(9):45~50.
[45]陈琳,刘俊民,刘小学.支持向量机在地下水水质评价中的应用[J].西北农林科技大学学报(自然科学版),2010,38(11):221~226.
[46]张秀菊,安焕,赵文荣,等.基于支持向量机的水质预测应用实例[J].中国农村水利水电,2015(1):85~89.
[47]顾红其.支持向量机在期货价格预测中的应用研究[J].计算机仿真,2010,27(12):358~360,385.
[48]祝金荣.基于支持向量机的石油期货价格预测[J].工业技术经济,2007,26(2):59~61.
[49]吴江,李太勇.基于加权支持向量机的金融时间序列预测[J].商业研究,2010(1):138~140.
[50]胡邦辉,刘丹军,王学忠,等.最小二乘支持向量机在云量预报中的应用[J].气象科学,2011,31(2):187~193.
[51]王振友,叶丽婷,牛庆敏.大气中臭氧含量分析预测的支向量机模型[J].数学的实践与认识,2008,38(9):52~56.
[52]滕卫平,俞善贤,胡波.基于支持向量机的浙江汛期旱涝预测方法研究[J].气象科技,2008(2):139~144.
[53]段永健.基于时间序列与支持向量机的信号识别模型及预测[D].济南:山东大学,2010.
[54]张秋凝,赵惠玲.基于支持向量机的波达方向估计[J].科学技术与工程,2012,12(6):1409~1411.
[55]郭建华,杨海东.基于支持向量机免疫集成预测的电信网络性能监控[J].中南大学学报(自然科学版),2012,43(3):1020~1026.
[56]雷金波.基于逻辑回归和支持向量机的设备状态退化评估与趋势预测研究[D].上海:上海交通大学,2008.
[57]李凌均,张周锁,何正嘉.基于支持向量机的机械设备状态趋势预测研究[J].西安交通大学学报,2004,38(3):230~233,238.
[58]徐国平.基于支持向量机的动调陀螺仪寿命预测方法研究[D].上海:上海交通大学,2008.
[59]陈立波,宋兰琪,宋科,等.基于支持向量机的航空发动机磨损趋势预测[J].润滑与密封,2008,33(5):84~87.
[60]蒋爱武,谢寿生.基于支持向量机和粒子群算法的压气机特性计算[J].航空动力学报,2010,25(11):2571~2577.