基于视觉伺服的工业机器人控制技术研究
|
摘要
在工业机器人的控制系统中嵌入机器视觉，可以提高工业机器人作业的智能化，拓宽工业机器人的应用领域。本文以MOTOMAN UP6机器人为基础，利用工业相机、图像采集卡、计算机、变位机等设备，构建了工业机器人视觉伺服控制系统。通过对场景图像的处理与分析，建立了基于图像的视觉伺服控制器，实现了UP6机器人对作业场景下的静态目标和圆周运动目标实时定位与跟踪拾取。
本文首先对相机标定的算法进行研究，使用MATLAB工具实现了相机参数的求取，依据标定结果得出图像坐标系与机器人坐标系的映射关系。然后对相机拍摄的场景图像进行分析，通过实验建立起期望图像的特征矩阵。对场景中的目标进行边缘检测、模板匹配等算法处理，得出实时图像特征矩阵。利用图像间的特征信息建立起图像反馈控制模块，设计了静态场景和动态场景两种情况下的视觉伺服控制器。在运动目标跟踪方面，研究了目标作圆周运动的特征，建立了“两心一度”模型，通过实验验证了该算法的正确性。结合卡尔曼滤波算法和全局最近邻预测算法，对视觉伺服控制器的设计进行改进，使得机器人末端执行器实时跟踪定位、拾取作业场景中的目标。
通过多次实验和程序调试，完成了一个初级的机器人视觉伺服控制系统的构建。联机实验证明了本文的研究成果。在研究的过程中发现UP6机器人运动控制过程中的不足之处，并提出了解决方法。该系统作为工业自动化的一个环节，在生产应用上有较好的实用意义和参考价值。
The industrial robot control system could be embedded in machine vision, which willimprove the intelligence of industrial robots and widen industrial robots applications. The paperconstructs the industrial robot visual servo control system which includes CCD camera, imageacquisition card, computer, positional machine and other equipments. Through the scene ofimage processing and analysis, UP6robot can pick the static targets and trick the circularmotion targets.
Firstly, the paper researches the algorithm of camera calibration, uses the MATLAB toachieve the camera parameter. According to the calibration results, which can get the mappingrelationship between graphical coordinate and robot coordinate. Secondly, as the analysis ofimage, the paper establishes a desired image characteristic matrix through the experiments.Using the algorithm of edge detection、template matching, which can get the feature matrix ofthe real-time image and establish the control of image feedback. Then the paper designs visualservo controller of static scene and dynamic scene. In terms of tricking dynamic targets, thepaper studies the circular motion targets and establishes "two hearts and one angular speed"model, through experimental verification to prove the correctness of the algorithm. CombinedKALMAN filtering and the global nearest neighbor algorithm, which can improve theperformance of visual servo controller and control robot to complete the servo works.
Through several experiments and program tests, the paper constructs a primary robotvisual servo control system. Online experiments prove the results of this research. In theprocess of research, some deficiencies of robot motion control have been found and thesolutions are proposed. The research of visual servo system for industrial automation is animportant link, which has practical significance and reference value in the production andapplication.
本文首先对相机标定的算法进行研究，使用MATLAB工具实现了相机参数的求取，依据标定结果得出图像坐标系与机器人坐标系的映射关系。然后对相机拍摄的场景图像进行分析，通过实验建立起期望图像的特征矩阵。对场景中的目标进行边缘检测、模板匹配等算法处理，得出实时图像特征矩阵。利用图像间的特征信息建立起图像反馈控制模块，设计了静态场景和动态场景两种情况下的视觉伺服控制器。在运动目标跟踪方面，研究了目标作圆周运动的特征，建立了“两心一度”模型，通过实验验证了该算法的正确性。结合卡尔曼滤波算法和全局最近邻预测算法，对视觉伺服控制器的设计进行改进，使得机器人末端执行器实时跟踪定位、拾取作业场景中的目标。
通过多次实验和程序调试，完成了一个初级的机器人视觉伺服控制系统的构建。联机实验证明了本文的研究成果。在研究的过程中发现UP6机器人运动控制过程中的不足之处，并提出了解决方法。该系统作为工业自动化的一个环节，在生产应用上有较好的实用意义和参考价值。
The industrial robot control system could be embedded in machine vision, which willimprove the intelligence of industrial robots and widen industrial robots applications. The paperconstructs the industrial robot visual servo control system which includes CCD camera, imageacquisition card, computer, positional machine and other equipments. Through the scene ofimage processing and analysis, UP6robot can pick the static targets and trick the circularmotion targets.
Firstly, the paper researches the algorithm of camera calibration, uses the MATLAB toachieve the camera parameter. According to the calibration results, which can get the mappingrelationship between graphical coordinate and robot coordinate. Secondly, as the analysis ofimage, the paper establishes a desired image characteristic matrix through the experiments.Using the algorithm of edge detection、template matching, which can get the feature matrix ofthe real-time image and establish the control of image feedback. Then the paper designs visualservo controller of static scene and dynamic scene. In terms of tricking dynamic targets, thepaper studies the circular motion targets and establishes "two hearts and one angular speed"model, through experimental verification to prove the correctness of the algorithm. CombinedKALMAN filtering and the global nearest neighbor algorithm, which can improve theperformance of visual servo controller and control robot to complete the servo works.
Through several experiments and program tests, the paper constructs a primary robotvisual servo control system. Online experiments prove the results of this research. In theprocess of research, some deficiencies of robot motion control have been found and thesolutions are proposed. The research of visual servo system for industrial automation is animportant link, which has practical significance and reference value in the production andapplication.
引文
[1]方勇纯.机器人视觉伺服研究综述.[J].智能系统学报，2008,3(2)：110-112
[2]廖万辉，李琳.基于机器视觉的工业机器人定位系统.[J].微计算机信息，2009,25(3-2)：242-244
[3]唐润宏.基于图像的机器人视觉伺服控制研究.[D].北京：北京工业大学，2007年5月
[4] Kang S,Hwang B.W,Lee S.W. Multiple People tracking Based on temporal color feature.[J].International Journal of PatternRecognition and Artificial Intelligence,2003,17(6):931-949
[5]代小红，王光利.基于机器视觉的印刷品缺陷检测与识别.[J].光电技术应用,2011,32(5):714-717
[6] Martin T,Herero J.A soft improves a real time quality assurance machine vision system.[C].Proc. of the17thInternationalConference on Pattern Recognition.2004,12(4):31-34
[7] TAYLOR G, KLEEMAN L. Hybrid position based visual servoing with online calibration for a humanoid robot.[C].Proc ofIEEE/RSJ International Conference on Intelligent Robots and Systems. Sandai, Japan,2004:686-691
[8] Bhanu B.Etal. Introduction to the Special Issue on Automatic Target Detection and Recognition.[J]. Image Processing，1997，6(1)：1-6
[9] Miao H L,Yu K,Marlku J. Positioning for NLOS Propagation:Algorithm Derivations and Cramer-Rao Bounds.IEEEInternational Conference on Acoustics Speech and Signal Processing.2006,1045-1048.
[10] The Research Of Mobile Location Estimation With Reducing NLOS Errors.Proceedings of20104th InternationalConference on Intelligent Information Technology Application.[C].2010,(Volume3):231-239
[11] Herve J,Sharma R and Cucka P. Toward Robust Vision-based control:Hand-eye Coordination without calibration.[C]In Proc.1991IEEE Inter.Symp.on intelligence control,1991:457-462
[12] ZHANG-yepeng,HE-tao,Application of machine vision in industry inspection and its research.[J].Department ofMechanical Engineering,Hubei Ploytechnic University.2001,9(4):326-330
[13]段彦婷.机械臂视觉伺服系统的研究.[D].哈尔滨：哈尔滨工业大学，2008年7月
[14]席斌，王振雷，钱峰.机器视觉工业检测系统的应用和发展.[J].控制工程，2006,13(03):220-223
[15]淮小利.机器人视觉伺服控制研究.[D].石家庄：河北大学，2008年5月
[16]邝宏武.基于动力学视觉伺服的运动目标捕捉技术研究.[D].上海：东华大学，2010年1月
[17]唐家凯.视觉伺服控制系统在焊接机器人中的应用研究.[D].成都：西南交通大学，2011年3月
[18]王靖韬，侯振杰.传统相机标定方式的自标定方法.计算机工程与应用，2010，46(35)：206-209
[19]杜荣.基于机器视觉的工业机器人分拣技术研究.[D].南京：南京林业大学，2009年6月
[20] Zhengyou Zhang. A Flexible New Technique for Camera Calibration. IEEE TRANSACTIONS ON PATTERN ANALYSISAND MACHINE INTELLIGENCE，2000，22(11):1330-1334
[21] ROGER Y. TRAI A Versatile Camera Calibration Technique for High-Accuracy3D Machine Vision Metrology UsingOff-the-Shelf TV Camera and Lenses.[J]. IEEE Journal of Robotics And Automation，VOL.RA-3，NO.4，August.1997
[22]陈兵旗，孙明.Visual C++实用图像处理-专业教程.北京：清华大学，2004年3月
[23]宋健.基于图像的采摘机器人模糊视觉伺服系统研究.[J].机床与液压，2010，38(10):65-67
[24]高均立.基于图像均衡化的数字图像增强技术.[J].陕西科技大学学报，2011，29(2):118-121
[25]曾磊.基于Otsu法自适应阈值的图像分割研究.[J].信息技术，2008，10(03)：88-90
[26]徐志刚，朱红蕾.基于角点检测和边缘提取的车牌定位方法.[J].科学技术与工程.2008，8(04)：3986-3988
[27]罗敏，王琰.一种利用Roberts-Zernike矩的亚像素边缘检测方法.[J].计算机工程与应用，2011，47(5)：169-171
[28]陈利军.图像角点检测与匹配算法研究.[D].西安：西安电子科技大学，2005年1月
[29]朱友超.机器人焊装线控制系统研究.[D].合肥：合肥工业大学，2008年2月
[30]陈美宏.工业机器人工作站作业仿真及离线编程研究.[D].南京：南京林业大学，2010年6月
[31]杨少平.移动机器人视觉伺服.[D].上海：复旦大学，2010年5月
[32] M.C.Ngugen. Situation-oriented Behavior based Stereo Vision to Gain Robotics Adaptation in Manipulator or Control.Proc of SPIE.[C].1999,38(07):90-97
[33] Espiau B, Chaumette F, Rives P. A new approach to visual servoing in robotics.[J].IEEE Trans. Robotics andAutomation,1992,Vol.8,No.3:313-326
[34] Suh I H, Kim T W. A fuzzy-neural-network-based visual feedback learning control for robot manipulators.[C].Proc. IEEEInter. Conf. on Robotics and Automation:1994,2781-2786
[35] Sutanto H, Sharma R. Global performance evaluation of Image features for visual servo control.[J].Journal of RoboticSystem,1996,Vol.13,No.4:243-258
[36]苏剑波，席裕庚.二维运动的眼注视方法及实验研究.[J].机器人.1999，21(2)：86-91
[37]于晨.基于模板匹配技术的运动物体检测的研究.[D].重庆：重庆大学，2007年4月
[38] Mihichiro U enohara, Takeo Kanade. Use of Fourier Karhunen-Loeve Decomposition for Fast Pattern Matching With aLarge Set of Templates.[J].IEEE Transactions on Pattern Analysis And Machine Intelligence,1997,Vol.19,No.8:143-149
[39]毛华.动态场景中运动目标跟踪算法研究与实现.[D].成都：电子科技大学，2006年2月
[40]吴海城，陆松年.多目标视频跟踪技术的研究.[J].信息技术，2009,7(0029)：29-31
[41]崔宇巍.运动目标检测与跟踪中有关问题的研究.[D].西安：西北大学，2005年5月
[42]李俊，周凤岐，周军，卢晓东.机动目标跟踪的多模型多机动策略.[J].系统仿真学报，2009,21(3)：668-671
[43]赵艳丽，刘剑，罗鹏飞.自适应转弯模型的机动目标跟踪算法研究.[J].现代雷达，2003，11(25)：15-17
[44]代凯乾.单目图像序列的目标跟踪算法研究.[D].长沙：国防科学技术大学，2006年11月
[45]崔吉，张燕超.基于卡尔曼滤波的多运动跟踪算法研究.[J].影像技术，2010,3(06)：10-15
[46]蒋平，胡凤轩，陈辉堂，王月娟.机器人手眼协调的图像直接反馈反馈方法.[J].控制理论与应用，1997,14(6)：648-653
[47]史英杰.多机动目标跟踪算法与仿真平台开发.[D].杭州：杭州电子科技大学，2009年11月
[48]尹小杰，朱斌，樊键.无迹Kalman滤波器及其目标跟踪应用.[J].测控技术，2006,25(8)：73-75
[49]潘俊.基于视觉伺服的焊缝跟踪系统研究.[D].济南：山东大学，2010年5月
[50] MOTOMAN. MOTOCOM32: SPECIFICATIONS/OPERATION MANUAL [Z].USA: Electric manufacturing,2002
[51] MOTOMAN.MOTOMAN SETUP MANUAL [Z].JAPAN:YASKAWA ELECTRIC CORPORATION.May,1999
[52]焦恩璋，陈美宏.五轴联动机床轨迹控制研究.[J].组合机床与自动化加工技术，2009，(12)：58-60
[53]赵辉，叶子青.Visual C++系统开发实例精髓.[M].北京：人民邮电出版社，2005年8月
[54]苏剑波.机器人无标定手眼协调.[M].北京：电子工业出版社，2010年8月
[55]陈天华.数字图像处理.[M].北京：清华大学出版社，2008年5月
[56]陈浩.图像制导系统图像匹配算法研究.[D]南京：南京理工大学，2008年
[57]邵泽明.计算机视觉伺服跟踪控制系统.[D]南京：南京航空航天大学，2003年3月
[58]范立南，韩晓微，张广渊.图像处理与模式识别.[M].北京：科学出版社，2007年3月
[59]丁学恭.机器人控制研究.[M].杭州：浙江大学出版社，2006年9月，221-281
[60] USA：David A. Forsyth Jean Ponce著，林学誾，王宏译.计算机视觉—一种现代方法.[M].北京：电子工业出版社，2004年6月
[61]谢存禧，张铁.机器人技术及其应用.[M].北京：机械工业出版社，2008年3月
[62] YASNAC XRC使用说明书.北京：首钢莫托曼机器人有限公司，2003年4月
[63]韩新宇.基于视觉的运动目标跟踪技术与应用研究.[D].哈尔滨：哈尔滨工程大学，2005年12月
[64]郭蓝斌.基于图像雅可比矩阵的无标定工业机器人视觉伺服.[D].西安：西安理工大学，2006年3月
[65]刘峰.基于PUMA560机器人的视觉伺服控制系统研究.[D].兰州：兰州理工大学，2007年5月
[66]王刚，宁文军，王国栋.视觉伺服中运动物体的速度估计.[J].机床与液压，2004，(12):78-80
[67]杜荣，焦恩璋.Motocom32的应用及其面向对象封装研究.[J].机电一体化，2009，(6)：80-82
[68]曾祥进.基于开放式软件平台的机器视觉伺服研究.[D].武汉：华中科技大学，2006年5月
[2]廖万辉，李琳.基于机器视觉的工业机器人定位系统.[J].微计算机信息，2009,25(3-2)：242-244
[3]唐润宏.基于图像的机器人视觉伺服控制研究.[D].北京：北京工业大学，2007年5月
[4] Kang S,Hwang B.W,Lee S.W. Multiple People tracking Based on temporal color feature.[J].International Journal of PatternRecognition and Artificial Intelligence,2003,17(6):931-949
[5]代小红，王光利.基于机器视觉的印刷品缺陷检测与识别.[J].光电技术应用,2011,32(5):714-717
[6] Martin T,Herero J.A soft improves a real time quality assurance machine vision system.[C].Proc. of the17thInternationalConference on Pattern Recognition.2004,12(4):31-34
[7] TAYLOR G, KLEEMAN L. Hybrid position based visual servoing with online calibration for a humanoid robot.[C].Proc ofIEEE/RSJ International Conference on Intelligent Robots and Systems. Sandai, Japan,2004:686-691
[8] Bhanu B.Etal. Introduction to the Special Issue on Automatic Target Detection and Recognition.[J]. Image Processing，1997，6(1)：1-6
[9] Miao H L,Yu K,Marlku J. Positioning for NLOS Propagation:Algorithm Derivations and Cramer-Rao Bounds.IEEEInternational Conference on Acoustics Speech and Signal Processing.2006,1045-1048.
[10] The Research Of Mobile Location Estimation With Reducing NLOS Errors.Proceedings of20104th InternationalConference on Intelligent Information Technology Application.[C].2010,(Volume3):231-239
[11] Herve J,Sharma R and Cucka P. Toward Robust Vision-based control:Hand-eye Coordination without calibration.[C]In Proc.1991IEEE Inter.Symp.on intelligence control,1991:457-462
[12] ZHANG-yepeng,HE-tao,Application of machine vision in industry inspection and its research.[J].Department ofMechanical Engineering,Hubei Ploytechnic University.2001,9(4):326-330
[13]段彦婷.机械臂视觉伺服系统的研究.[D].哈尔滨：哈尔滨工业大学，2008年7月
[14]席斌，王振雷，钱峰.机器视觉工业检测系统的应用和发展.[J].控制工程，2006,13(03):220-223
[15]淮小利.机器人视觉伺服控制研究.[D].石家庄：河北大学，2008年5月
[16]邝宏武.基于动力学视觉伺服的运动目标捕捉技术研究.[D].上海：东华大学，2010年1月
[17]唐家凯.视觉伺服控制系统在焊接机器人中的应用研究.[D].成都：西南交通大学，2011年3月
[18]王靖韬，侯振杰.传统相机标定方式的自标定方法.计算机工程与应用，2010，46(35)：206-209
[19]杜荣.基于机器视觉的工业机器人分拣技术研究.[D].南京：南京林业大学，2009年6月
[20] Zhengyou Zhang. A Flexible New Technique for Camera Calibration. IEEE TRANSACTIONS ON PATTERN ANALYSISAND MACHINE INTELLIGENCE，2000，22(11):1330-1334
[21] ROGER Y. TRAI A Versatile Camera Calibration Technique for High-Accuracy3D Machine Vision Metrology UsingOff-the-Shelf TV Camera and Lenses.[J]. IEEE Journal of Robotics And Automation，VOL.RA-3，NO.4，August.1997
[22]陈兵旗，孙明.Visual C++实用图像处理-专业教程.北京：清华大学，2004年3月
[23]宋健.基于图像的采摘机器人模糊视觉伺服系统研究.[J].机床与液压，2010，38(10):65-67
[24]高均立.基于图像均衡化的数字图像增强技术.[J].陕西科技大学学报，2011，29(2):118-121
[25]曾磊.基于Otsu法自适应阈值的图像分割研究.[J].信息技术，2008，10(03)：88-90
[26]徐志刚，朱红蕾.基于角点检测和边缘提取的车牌定位方法.[J].科学技术与工程.2008，8(04)：3986-3988
[27]罗敏，王琰.一种利用Roberts-Zernike矩的亚像素边缘检测方法.[J].计算机工程与应用，2011，47(5)：169-171
[28]陈利军.图像角点检测与匹配算法研究.[D].西安：西安电子科技大学，2005年1月
[29]朱友超.机器人焊装线控制系统研究.[D].合肥：合肥工业大学，2008年2月
[30]陈美宏.工业机器人工作站作业仿真及离线编程研究.[D].南京：南京林业大学，2010年6月
[31]杨少平.移动机器人视觉伺服.[D].上海：复旦大学，2010年5月
[32] M.C.Ngugen. Situation-oriented Behavior based Stereo Vision to Gain Robotics Adaptation in Manipulator or Control.Proc of SPIE.[C].1999,38(07):90-97
[33] Espiau B, Chaumette F, Rives P. A new approach to visual servoing in robotics.[J].IEEE Trans. Robotics andAutomation,1992,Vol.8,No.3:313-326
[34] Suh I H, Kim T W. A fuzzy-neural-network-based visual feedback learning control for robot manipulators.[C].Proc. IEEEInter. Conf. on Robotics and Automation:1994,2781-2786
[35] Sutanto H, Sharma R. Global performance evaluation of Image features for visual servo control.[J].Journal of RoboticSystem,1996,Vol.13,No.4:243-258
[36]苏剑波，席裕庚.二维运动的眼注视方法及实验研究.[J].机器人.1999，21(2)：86-91
[37]于晨.基于模板匹配技术的运动物体检测的研究.[D].重庆：重庆大学，2007年4月
[38] Mihichiro U enohara, Takeo Kanade. Use of Fourier Karhunen-Loeve Decomposition for Fast Pattern Matching With aLarge Set of Templates.[J].IEEE Transactions on Pattern Analysis And Machine Intelligence,1997,Vol.19,No.8:143-149
[39]毛华.动态场景中运动目标跟踪算法研究与实现.[D].成都：电子科技大学，2006年2月
[40]吴海城，陆松年.多目标视频跟踪技术的研究.[J].信息技术，2009,7(0029)：29-31
[41]崔宇巍.运动目标检测与跟踪中有关问题的研究.[D].西安：西北大学，2005年5月
[42]李俊，周凤岐，周军，卢晓东.机动目标跟踪的多模型多机动策略.[J].系统仿真学报，2009,21(3)：668-671
[43]赵艳丽，刘剑，罗鹏飞.自适应转弯模型的机动目标跟踪算法研究.[J].现代雷达，2003，11(25)：15-17
[44]代凯乾.单目图像序列的目标跟踪算法研究.[D].长沙：国防科学技术大学，2006年11月
[45]崔吉，张燕超.基于卡尔曼滤波的多运动跟踪算法研究.[J].影像技术，2010,3(06)：10-15
[46]蒋平，胡凤轩，陈辉堂，王月娟.机器人手眼协调的图像直接反馈反馈方法.[J].控制理论与应用，1997,14(6)：648-653
[47]史英杰.多机动目标跟踪算法与仿真平台开发.[D].杭州：杭州电子科技大学，2009年11月
[48]尹小杰，朱斌，樊键.无迹Kalman滤波器及其目标跟踪应用.[J].测控技术，2006,25(8)：73-75
[49]潘俊.基于视觉伺服的焊缝跟踪系统研究.[D].济南：山东大学，2010年5月
[50] MOTOMAN. MOTOCOM32: SPECIFICATIONS/OPERATION MANUAL [Z].USA: Electric manufacturing,2002
[51] MOTOMAN.MOTOMAN SETUP MANUAL [Z].JAPAN:YASKAWA ELECTRIC CORPORATION.May,1999
[52]焦恩璋，陈美宏.五轴联动机床轨迹控制研究.[J].组合机床与自动化加工技术，2009，(12)：58-60
[53]赵辉，叶子青.Visual C++系统开发实例精髓.[M].北京：人民邮电出版社，2005年8月
[54]苏剑波.机器人无标定手眼协调.[M].北京：电子工业出版社，2010年8月
[55]陈天华.数字图像处理.[M].北京：清华大学出版社，2008年5月
[56]陈浩.图像制导系统图像匹配算法研究.[D]南京：南京理工大学，2008年
[57]邵泽明.计算机视觉伺服跟踪控制系统.[D]南京：南京航空航天大学，2003年3月
[58]范立南，韩晓微，张广渊.图像处理与模式识别.[M].北京：科学出版社，2007年3月
[59]丁学恭.机器人控制研究.[M].杭州：浙江大学出版社，2006年9月，221-281
[60] USA：David A. Forsyth Jean Ponce著，林学誾，王宏译.计算机视觉—一种现代方法.[M].北京：电子工业出版社，2004年6月
[61]谢存禧，张铁.机器人技术及其应用.[M].北京：机械工业出版社，2008年3月
[62] YASNAC XRC使用说明书.北京：首钢莫托曼机器人有限公司，2003年4月
[63]韩新宇.基于视觉的运动目标跟踪技术与应用研究.[D].哈尔滨：哈尔滨工程大学，2005年12月
[64]郭蓝斌.基于图像雅可比矩阵的无标定工业机器人视觉伺服.[D].西安：西安理工大学，2006年3月
[65]刘峰.基于PUMA560机器人的视觉伺服控制系统研究.[D].兰州：兰州理工大学，2007年5月
[66]王刚，宁文军，王国栋.视觉伺服中运动物体的速度估计.[J].机床与液压，2004，(12):78-80
[67]杜荣，焦恩璋.Motocom32的应用及其面向对象封装研究.[J].机电一体化，2009，(6)：80-82
[68]曾祥进.基于开放式软件平台的机器视觉伺服研究.[D].武汉：华中科技大学，2006年5月