移动机器人视觉导航系统的研究
|
摘要
移动机器人的视觉导航技术是目前科学研究的热点和重点,随着视觉导航技术研究的深入,工业AGV搬运机器人、智能车辆和国防技术研究取得了重大的突破。由于视觉系统所采集的图像具有信息丰富,对运动环境描述全面的特点,使得移动机器人控制智能化成为发展趋势。本文根据移动机器人的运动控制要求,对图像预处理、图像分割、特征区域匹配的方法进行了研究,并完成了对目标标识物的识别。
运动模型的分析为移动机器人的运动控制提供了理论依据,在对CCD摄像机模型在图像采集中所产生的畸变进行分析过程中,采用Tsai两步法标定出摄像机的内外参数,并通过实验对标定结果进行验证。结果表明,该标定方法可以达到CCD摄像机的标定要求。
由于视觉系统采集的图像受到周围环境的影响,会产生噪声和畸变。因此在进行图像分割和特征区域匹配前对所采集的图像进行了灰度变换、中值滤波等预处理,提高了图像处理的效率;在图像分割过程中汇总对比了多种边缘检测算子的处理效果和效率,最终选定采用Sobel算子进行图像的边缘检测。
在标识物的识别过程中,进行基于颜色分割时,选取自动阈值分割法,采用基于最大面积法选取初始阈值的最大类间、类内方差比法对运动路径图像进行初始分割。在图像修正中又先后使用了图像膨胀和图像细化的方法,便于目标标识物边缘信息的更好提取。在标识物识别和运动控制系统中,提出了颜色特征区域匹配的方法,通过图像中像素RGB值与样板中的RGB值的绝对偏差的计算,实现了对标识物的识别。
利用Visual C++的开发环境和图像处理技术,开发了移动机器人运动检测和视觉导航两个系统,实现了对移动机器人的运动仿真和运动控制。移动机器人视觉导航实验结果表明,论文中所提的方法和思路有效可行。
Vision-based navigation technology is a new hot spot in the area of mobile robot research. Researching on the AGV technology, Intelligent Vehicle and National defense technology have acquired breakthrough with the Vision-based navigation technology be in-depth studying. Because the images collected by the vision system can describe roundly the environment, and carry a tremendous amount of information about the scene, it becomes a Development Trend for intellectual control of the mobile robot. According to the controlling requirements on the movement of the mobile robot, this article focus on the recognition of target objects by the methods of Image preprocessing、Image Segmentation、matching for feature area.
The analysis of movement model provides theoretical proof for the movement control of the mobile robot. On the consideration of distortion of CCD model in images collection, the Tsai two-step method is accepted to calibrate the internal and external parameters, and test the validity of above prediction with experiment. The result indicates that the calibration could meet for the calibration of the CCD Video Camera.
Because of the environmental influences, the collected images have noise and distortion, which must be preprocessed with the gray level transformation、histogram handling and airspace filtering before the image segmentation and matching for feature area to increase the efficiency of image processing. Then by the comparison of the outcome and efficiency of comparison the image segmentation process, the Sobel operator is chosen to do the edge detection on images.
In the target recognition, when processing the image segmentation on colors, the auto-threshold method is adopted and the maximum area method is practiced in the selection of the initial threshold, and the max ratio of class among variance and class internal variance is applied to carry through the initial segmentation. In the image modification the methods of image expansion Image Expansion and Image Thinning is used in order to ease the obtain of the edge information of the target. The method of matching for feature area by color techniques is proposed and practiced in the movement testing and control system on Mobile Robot. The system could achieve the recognition of target, though computing the absolute deviation of RGB from Pixel-point in the image to target template.
With the utilization of the Visual C++ and image processing technology two systems, movement testing on mobile robot and vision-based navigation are established and Motion Simulation and control are realized. The experiment on the vision-based navigation of mobile robot indicates the prediction and methods proposed in the article is feasible.
运动模型的分析为移动机器人的运动控制提供了理论依据,在对CCD摄像机模型在图像采集中所产生的畸变进行分析过程中,采用Tsai两步法标定出摄像机的内外参数,并通过实验对标定结果进行验证。结果表明,该标定方法可以达到CCD摄像机的标定要求。
由于视觉系统采集的图像受到周围环境的影响,会产生噪声和畸变。因此在进行图像分割和特征区域匹配前对所采集的图像进行了灰度变换、中值滤波等预处理,提高了图像处理的效率;在图像分割过程中汇总对比了多种边缘检测算子的处理效果和效率,最终选定采用Sobel算子进行图像的边缘检测。
在标识物的识别过程中,进行基于颜色分割时,选取自动阈值分割法,采用基于最大面积法选取初始阈值的最大类间、类内方差比法对运动路径图像进行初始分割。在图像修正中又先后使用了图像膨胀和图像细化的方法,便于目标标识物边缘信息的更好提取。在标识物识别和运动控制系统中,提出了颜色特征区域匹配的方法,通过图像中像素RGB值与样板中的RGB值的绝对偏差的计算,实现了对标识物的识别。
利用Visual C++的开发环境和图像处理技术,开发了移动机器人运动检测和视觉导航两个系统,实现了对移动机器人的运动仿真和运动控制。移动机器人视觉导航实验结果表明,论文中所提的方法和思路有效可行。
Vision-based navigation technology is a new hot spot in the area of mobile robot research. Researching on the AGV technology, Intelligent Vehicle and National defense technology have acquired breakthrough with the Vision-based navigation technology be in-depth studying. Because the images collected by the vision system can describe roundly the environment, and carry a tremendous amount of information about the scene, it becomes a Development Trend for intellectual control of the mobile robot. According to the controlling requirements on the movement of the mobile robot, this article focus on the recognition of target objects by the methods of Image preprocessing、Image Segmentation、matching for feature area.
The analysis of movement model provides theoretical proof for the movement control of the mobile robot. On the consideration of distortion of CCD model in images collection, the Tsai two-step method is accepted to calibrate the internal and external parameters, and test the validity of above prediction with experiment. The result indicates that the calibration could meet for the calibration of the CCD Video Camera.
Because of the environmental influences, the collected images have noise and distortion, which must be preprocessed with the gray level transformation、histogram handling and airspace filtering before the image segmentation and matching for feature area to increase the efficiency of image processing. Then by the comparison of the outcome and efficiency of comparison the image segmentation process, the Sobel operator is chosen to do the edge detection on images.
In the target recognition, when processing the image segmentation on colors, the auto-threshold method is adopted and the maximum area method is practiced in the selection of the initial threshold, and the max ratio of class among variance and class internal variance is applied to carry through the initial segmentation. In the image modification the methods of image expansion Image Expansion and Image Thinning is used in order to ease the obtain of the edge information of the target. The method of matching for feature area by color techniques is proposed and practiced in the movement testing and control system on Mobile Robot. The system could achieve the recognition of target, though computing the absolute deviation of RGB from Pixel-point in the image to target template.
With the utilization of the Visual C++ and image processing technology two systems, movement testing on mobile robot and vision-based navigation are established and Motion Simulation and control are realized. The experiment on the vision-based navigation of mobile robot indicates the prediction and methods proposed in the article is feasible.
引文
【1】 Massimo Bertozzi,Alberto Broggi,Alessandra Fascioli.Vision-based intelligent vehicles:State of the art and perspectives[J].Robotics & Automation Systems,2000(6):251-254.
【2】 曹洋,项龙江,徐心和.基于全局视觉的轮式移动机器人轨迹跟踪控制[J].机器人,2004,26(1):132-138.
【3】 张捍东,董保华,郑睿.工业物流系统中AGVS的设计策略[J].自动化与仪表,2006(3):4-7.
【4】 Nanfeng Xiao,Nahavandi Saeid.Visual feedback control of a robot in an unknown environment.International Journal of Advanced[J].Manufacturing Technology,2004(6):81-85.
【5】 Gaonlcar P K,DelSorbo A,Rattan K S.An intelligent robotsystem using fuzzy logic[C].Proceedings of the 48th MidwestSymposium on Circuits and Systems.Piscataway:IEEE,2005:919-922.
【6】 孙振平,安向京,贺韩根.CITAVT-Ⅳ--视觉导航的自主车[J].机器人,2002(2):115-121.
【7】 高健.基于视觉的移动机器人运动控制研究[D].华中科技大学,2005.
【8】 习志红,原新,许辉.基于视觉移动机器人实时避障和导航[J].哈尔滨:哈尔滨工程大学学报,2002.23(5):103-106.
【9】 李庆中,顾伟康,叶秀清,相志宇.移动机器人路径跟踪的智能预瞄控制方法研究[J].机器人,2002.24(3):251-256.
【10】 刘化胜.智能车辆视觉导航中道路检测算法的研究[D].南京:南京航空航天大学,2004.
【11】 Juan A Fernanderz,Javier Gonazlez.The NEXUS Open System for Integrating Robotic Software[J].Robotics and Computer Integrated Manufacturing,1999,15:431-440.
【12】 Gu J,Meng M,Cook A,et al.Sensor fusion in mobilerobot:some perspectives[C].Proceedings of the 4th WorldCongress on Intelligent Control and Automation.Shanghai:East China University of Science and Technology Press,2002:1194-1199.
【13】 CHEN W S E,HU C L.A mobile agent-based active network architecture for intelligent network control.Information Sciences,2002,141(3):3-35.
【14】 Li T H S,Chang S J,Tong W.Fuzzy target tracking controlof autonomous mobile robots by using infrared sensors[J].IEEE Transactions on Fuzzy Systems,2004,12(4):491-501.
【15】 Brudka M,Pacut A.Intelligent robot control using ultrasonicinstrumentation and measurements[J].IEEE Transactions onInstrumentation and Measurement,2002,51(3):454-459.
【16】 E D Dickmanns.The Seeing Passenger CarVaMoRs-P.Proc 1994 IEEE Symposium on Intelligent Vehicles[J].IEEE Press Piscataway,N J,2000(5):67-72.
【17】 Sharareh Babvey,Ornid Momtahan,Mohammad R.Meybodi.Multi Mobile Robot Navigation Using Distributed Value Function Reinforcement Learning[C].IEEE International Conference on Robotics & Automation,2003,9:957-962.
【18】 张朋飞,何克忠,欧阳正柱.多功能室外智能移动机器人平台-THMR-V[J].机器人,2002,24(2):325-330.
【19】 欧青立,何克忠.室外智能移动机器人的发展及其关键技术研究[J].机器人,2000,22(6):519-526.
【20】 王荣本,徐友春,李兵.基于线性模型的导航路径图像检测算法研究[J].公路交通科技,2001, 18(2):47-52.
【21】 杨海峰等.基于距离、角度、模板的角点检测算法[J].激光与红外,2005,35(7):527-530.
【22】 Kanada T,Yoshida A.Controllability and stabilization of the programmed motions of a transport robot.Journal of Applied Mathematics and Mechanics,2000,64(6).
【23】 黄永志,陈卫东.两轮移动机器人运动控制系统的设计与实现[J].机器人,2004,26(6):231-234.
【24】 李青,郊南宁,张雪涛.车载摄像机安装方案探讨[J].计算机工程,2004,30(23):149-152.
【25】 吴福朝,李华,胡占义.基于主动视觉系统的摄像机自定标方法研究[J].自动化学报,2001,27(6):289-294.
【26】 邱茂林.综述与评论计算机视觉中摄像机定标综述[J].自动化学报,2000,24(2):127-130.
【27】 Hakan Bacakoglu,Mohamed S Kamel.AThree-Step Cam-era Calibration Method[J].IEEE Transactions on Instru-mentation and Measurement,1997,46(5):1165-1172.
【28】 Hutchison S,Hager G D,and Corke P I.A tutorial on visual servo contro[J].IEEE Trans Robotics and Automation,1996,12(5):651-670.
【29】 R.Y.Tsai.A versatile camera calibration technique for high-accuracy 3D machine vision metrology using off the-shelf TV camera and lenses[J].IEEE Journal of Automatio,1987,3(4):323-334.
【30】 冈萨雷斯著.数字图像处理:第二版[M].阮秋琦,阮宇智等译.北京:电子工业出版社,2003:108-134.
【31】 A.布洛基,M.布图兹,A.法斯莉,G康特.智能车辆-智能交通系统的关键技术[M].北京:人民交通出版社,2002:6-26.
【32】 屠大维,林财兴.智能机器人视觉体系结构研究[J].机器人,2001,23(3):206-210.
【33】 王慧燕.图像边缘检测和图像匹配研究及应用[M].浙江大学,2003.
【34】 飞思科技产品研发中心.MATLAB6.5辅助图像处理[M].北京:电子工业出版社,2003:189-203.
【35】 邢军.基于Sobel算子数字图像的边缘检测[J].微机发展,2005(09):153-158.
【36】 郑丽娜.视觉导航道路识别系统中图像特征直线提取方法研究[D].长春:吉林大学,2005
【37】 孙涵,任明武,杨静宇.一种快速实用的直线检测算法[J].计算机应用研究,2006,2(5):257-260.
【38】 周俊,王仁礼,吴云东.基于边缘检测的编组法直线提取[D].测绘学院学报,2004,3(21):181-183.
【39】 单丽杰,刘铁军,朱丹,肖颖杰.一种新的结合区域与边缘特征的目标提取方法[J].计算机工程与应用,2004,4(3):97-100.
【40】 Bertozzi,Massimo Broggi.Alberto.Vision-based intelligent vehicles[J].State of the art and perspective,2000,32(1):11-16.
【41】 刘加海,白洪欢,黄微凹.基于彩色和边缘信息融合的道路分割算法[J].浙江大学学报,2006,1(40):29-32.
【42】 吴东晖.智能移动机器人的视觉导航技术[D].浙江:浙江大学(博士论文),2001.
【43】 徐慧等.Visual C++数字图像实用工程案例精选[M].北京:人民邮电出版社,2004:189-253.
【44】 张海波,原魁,周庆瑞.基于路径识别的移动机器人视觉导航[J].中国图象图形学报,2004(7):173-176.
【45】 柳长交,李国栋,刘春阳.差动驱动式移动机器人的运动规划[J].哈尔滨工业大学学报,2003(9):93-96.
【46】 求实科技,苏彦华等.Visual C++数字图像识别典型案例[M].北京:人民邮电出版社,2004.
【47】 刘文峰,吴学毅,刘长富.基于RGB色度空间的车牌定位及矫正算法[J].武汉大学学报(信息科学版),2006(9):55-58.
【48】 徐益.移动机器人控制系统设计[D].杭州:浙江大学,2003.
【49】 刘海伟.步进电机和光电传感器实现小车寻迹[J].电子制作,2007(07):25-30.
【50】 德普施科技.基础机器人学与宝贝机器人[Z].广东:深圳市德普施科技有限公司,2004.
【2】 曹洋,项龙江,徐心和.基于全局视觉的轮式移动机器人轨迹跟踪控制[J].机器人,2004,26(1):132-138.
【3】 张捍东,董保华,郑睿.工业物流系统中AGVS的设计策略[J].自动化与仪表,2006(3):4-7.
【4】 Nanfeng Xiao,Nahavandi Saeid.Visual feedback control of a robot in an unknown environment.International Journal of Advanced[J].Manufacturing Technology,2004(6):81-85.
【5】 Gaonlcar P K,DelSorbo A,Rattan K S.An intelligent robotsystem using fuzzy logic[C].Proceedings of the 48th MidwestSymposium on Circuits and Systems.Piscataway:IEEE,2005:919-922.
【6】 孙振平,安向京,贺韩根.CITAVT-Ⅳ--视觉导航的自主车[J].机器人,2002(2):115-121.
【7】 高健.基于视觉的移动机器人运动控制研究[D].华中科技大学,2005.
【8】 习志红,原新,许辉.基于视觉移动机器人实时避障和导航[J].哈尔滨:哈尔滨工程大学学报,2002.23(5):103-106.
【9】 李庆中,顾伟康,叶秀清,相志宇.移动机器人路径跟踪的智能预瞄控制方法研究[J].机器人,2002.24(3):251-256.
【10】 刘化胜.智能车辆视觉导航中道路检测算法的研究[D].南京:南京航空航天大学,2004.
【11】 Juan A Fernanderz,Javier Gonazlez.The NEXUS Open System for Integrating Robotic Software[J].Robotics and Computer Integrated Manufacturing,1999,15:431-440.
【12】 Gu J,Meng M,Cook A,et al.Sensor fusion in mobilerobot:some perspectives[C].Proceedings of the 4th WorldCongress on Intelligent Control and Automation.Shanghai:East China University of Science and Technology Press,2002:1194-1199.
【13】 CHEN W S E,HU C L.A mobile agent-based active network architecture for intelligent network control.Information Sciences,2002,141(3):3-35.
【14】 Li T H S,Chang S J,Tong W.Fuzzy target tracking controlof autonomous mobile robots by using infrared sensors[J].IEEE Transactions on Fuzzy Systems,2004,12(4):491-501.
【15】 Brudka M,Pacut A.Intelligent robot control using ultrasonicinstrumentation and measurements[J].IEEE Transactions onInstrumentation and Measurement,2002,51(3):454-459.
【16】 E D Dickmanns.The Seeing Passenger CarVaMoRs-P.Proc 1994 IEEE Symposium on Intelligent Vehicles[J].IEEE Press Piscataway,N J,2000(5):67-72.
【17】 Sharareh Babvey,Ornid Momtahan,Mohammad R.Meybodi.Multi Mobile Robot Navigation Using Distributed Value Function Reinforcement Learning[C].IEEE International Conference on Robotics & Automation,2003,9:957-962.
【18】 张朋飞,何克忠,欧阳正柱.多功能室外智能移动机器人平台-THMR-V[J].机器人,2002,24(2):325-330.
【19】 欧青立,何克忠.室外智能移动机器人的发展及其关键技术研究[J].机器人,2000,22(6):519-526.
【20】 王荣本,徐友春,李兵.基于线性模型的导航路径图像检测算法研究[J].公路交通科技,2001, 18(2):47-52.
【21】 杨海峰等.基于距离、角度、模板的角点检测算法[J].激光与红外,2005,35(7):527-530.
【22】 Kanada T,Yoshida A.Controllability and stabilization of the programmed motions of a transport robot.Journal of Applied Mathematics and Mechanics,2000,64(6).
【23】 黄永志,陈卫东.两轮移动机器人运动控制系统的设计与实现[J].机器人,2004,26(6):231-234.
【24】 李青,郊南宁,张雪涛.车载摄像机安装方案探讨[J].计算机工程,2004,30(23):149-152.
【25】 吴福朝,李华,胡占义.基于主动视觉系统的摄像机自定标方法研究[J].自动化学报,2001,27(6):289-294.
【26】 邱茂林.综述与评论计算机视觉中摄像机定标综述[J].自动化学报,2000,24(2):127-130.
【27】 Hakan Bacakoglu,Mohamed S Kamel.AThree-Step Cam-era Calibration Method[J].IEEE Transactions on Instru-mentation and Measurement,1997,46(5):1165-1172.
【28】 Hutchison S,Hager G D,and Corke P I.A tutorial on visual servo contro[J].IEEE Trans Robotics and Automation,1996,12(5):651-670.
【29】 R.Y.Tsai.A versatile camera calibration technique for high-accuracy 3D machine vision metrology using off the-shelf TV camera and lenses[J].IEEE Journal of Automatio,1987,3(4):323-334.
【30】 冈萨雷斯著.数字图像处理:第二版[M].阮秋琦,阮宇智等译.北京:电子工业出版社,2003:108-134.
【31】 A.布洛基,M.布图兹,A.法斯莉,G康特.智能车辆-智能交通系统的关键技术[M].北京:人民交通出版社,2002:6-26.
【32】 屠大维,林财兴.智能机器人视觉体系结构研究[J].机器人,2001,23(3):206-210.
【33】 王慧燕.图像边缘检测和图像匹配研究及应用[M].浙江大学,2003.
【34】 飞思科技产品研发中心.MATLAB6.5辅助图像处理[M].北京:电子工业出版社,2003:189-203.
【35】 邢军.基于Sobel算子数字图像的边缘检测[J].微机发展,2005(09):153-158.
【36】 郑丽娜.视觉导航道路识别系统中图像特征直线提取方法研究[D].长春:吉林大学,2005
【37】 孙涵,任明武,杨静宇.一种快速实用的直线检测算法[J].计算机应用研究,2006,2(5):257-260.
【38】 周俊,王仁礼,吴云东.基于边缘检测的编组法直线提取[D].测绘学院学报,2004,3(21):181-183.
【39】 单丽杰,刘铁军,朱丹,肖颖杰.一种新的结合区域与边缘特征的目标提取方法[J].计算机工程与应用,2004,4(3):97-100.
【40】 Bertozzi,Massimo Broggi.Alberto.Vision-based intelligent vehicles[J].State of the art and perspective,2000,32(1):11-16.
【41】 刘加海,白洪欢,黄微凹.基于彩色和边缘信息融合的道路分割算法[J].浙江大学学报,2006,1(40):29-32.
【42】 吴东晖.智能移动机器人的视觉导航技术[D].浙江:浙江大学(博士论文),2001.
【43】 徐慧等.Visual C++数字图像实用工程案例精选[M].北京:人民邮电出版社,2004:189-253.
【44】 张海波,原魁,周庆瑞.基于路径识别的移动机器人视觉导航[J].中国图象图形学报,2004(7):173-176.
【45】 柳长交,李国栋,刘春阳.差动驱动式移动机器人的运动规划[J].哈尔滨工业大学学报,2003(9):93-96.
【46】 求实科技,苏彦华等.Visual C++数字图像识别典型案例[M].北京:人民邮电出版社,2004.
【47】 刘文峰,吴学毅,刘长富.基于RGB色度空间的车牌定位及矫正算法[J].武汉大学学报(信息科学版),2006(9):55-58.
【48】 徐益.移动机器人控制系统设计[D].杭州:浙江大学,2003.
【49】 刘海伟.步进电机和光电传感器实现小车寻迹[J].电子制作,2007(07):25-30.
【50】 德普施科技.基础机器人学与宝贝机器人[Z].广东:深圳市德普施科技有限公司,2004.