基于计算机视觉的机械手控制系统
|
摘要
双目立体视觉是机器人视觉技术的一个重要分支,即不同位置的两台摄像机或一台摄像机经过移动或旋转拍摄同一场景,通过计算空间点在两幅图像中的视差,获取该点的空间位置信息。基于双目视觉平台的研究主要包括摄像机的标定、图像处理、立体匹配、三维重建以及运动分析等。通过对双目立体视觉技术的进一步研究,为解决机器人的视觉问题如智能机器人的导航问题、工业机器人的视觉检测以及手臂抓取等问题奠定了技术基础。
摄像机标定与图像采集。运用大恒公司的DH-CG300图像采集卡循环采集两帧图像到内存,该部分内容涉及到图像卡的初始化及如何打开图像采集卡、开始采集、停止采集、结束采集、摄像机的标定几部分内容。对于摄像机的标定,课题中引入了一种摄像机模型,该模型有11个参数。利用6个已知其空间坐标和图像坐标的点,将6个控制点代入到摄像机的成像模型中,构成一个齐次方程组,然后求解出各个参数。至此实现了摄像机的标定和图像的采集。
对采集到内存中的图像进行处理。首先,将机械手要抓取的目标物做成一个模板,模板的制作要尽可能的小,能够包含目标物的主要特征即可。然后,利用模板匹配的方法确定实时图像当中目标物所在的位置,并记下目标物中心点的图像坐标,图像坐标系的原点设定为图像的左下角。最后,将匹配出的目标物所在的区域显示到控制界面上。该部分内容实现了目标物中心点图像坐标的确定。
实现机械手的运动控制。目标物的空间坐标确定以后,其相对于机械手当前的位置也就确定,由此可以得到机械手运动到目标物所在位置所需的进给量。控制机械手运动到目标物所在位置,抓取目标物,并放到指定的位置,放置的位置可以由用户自己设定。
本设计实现了用图像处理的方法来控制机械手抓取目标物,控制精度较高,适用性较广。硬件实现简单,成本较低。
Two-camera stereo visual system is an important branch of robotic visual technologies. It means that two cameras on different locations or one camera from dissimilar view angles via translating or rotating shoot the same scene to get the parallax according to which the space position information to the object center point is calculated. The study of two-camera visual platforms includes cameras calibration, image processing, stereo matching, three-dimensional reconstruction and movement analysis. Through the further research of two-camera visual technologies, it establishes technical foundations of robotic vision problems such as smart mobile robot navigation and industrial robots visual detection and manipulator grabbing.
We use the image collection card DH-CG300 which is made by Daheng company circulation collect two frames of images arriving at memory, this part of content includes initialization of the image card,opening the image collection, starting collection, stopping collection, ending collection and camera calibration. Toward the camera calibrating, it introduces one kind of camera model, in which has eleven parameters. We take six control points whose space coordinate and image coordinate have been known into the camera model, so we get a set of equations composing eleven unknowns, then we can find its solution. Now we realized the camera calibrating and the image collection so far.
Handle to the image that saved in at memory. First, the target object need to makes up a template that should be as small as possible, the template is ok if it can contain principal character of the target thing. Then, through template matching method to ascertain location of the target object in Real-time image, and make note of the image coordinate of target object central point, and the origin of image coordinate system sets up the lower left corner. Finally, display the target thing location area to controlling interface. So far we ascertain the image coordinate of target thing central point.
Implement controlling of the manipulator. Space coordinate of target object is ascertained, so the location that it relative to current location of manipulator is also ascertained, so we get the controlled quantity of the manipulator moving forward of target object location. We control the manipulator to arrive at target object location, grab and place the target object. The location of placing can be set up by the consumer.
The design realized control manipulator to grab target object with the method of template matching, control accuracy is higher, the hardware realization is simple, and the cost is lower.
摄像机标定与图像采集。运用大恒公司的DH-CG300图像采集卡循环采集两帧图像到内存,该部分内容涉及到图像卡的初始化及如何打开图像采集卡、开始采集、停止采集、结束采集、摄像机的标定几部分内容。对于摄像机的标定,课题中引入了一种摄像机模型,该模型有11个参数。利用6个已知其空间坐标和图像坐标的点,将6个控制点代入到摄像机的成像模型中,构成一个齐次方程组,然后求解出各个参数。至此实现了摄像机的标定和图像的采集。
对采集到内存中的图像进行处理。首先,将机械手要抓取的目标物做成一个模板,模板的制作要尽可能的小,能够包含目标物的主要特征即可。然后,利用模板匹配的方法确定实时图像当中目标物所在的位置,并记下目标物中心点的图像坐标,图像坐标系的原点设定为图像的左下角。最后,将匹配出的目标物所在的区域显示到控制界面上。该部分内容实现了目标物中心点图像坐标的确定。
实现机械手的运动控制。目标物的空间坐标确定以后,其相对于机械手当前的位置也就确定,由此可以得到机械手运动到目标物所在位置所需的进给量。控制机械手运动到目标物所在位置,抓取目标物,并放到指定的位置,放置的位置可以由用户自己设定。
本设计实现了用图像处理的方法来控制机械手抓取目标物,控制精度较高,适用性较广。硬件实现简单,成本较低。
Two-camera stereo visual system is an important branch of robotic visual technologies. It means that two cameras on different locations or one camera from dissimilar view angles via translating or rotating shoot the same scene to get the parallax according to which the space position information to the object center point is calculated. The study of two-camera visual platforms includes cameras calibration, image processing, stereo matching, three-dimensional reconstruction and movement analysis. Through the further research of two-camera visual technologies, it establishes technical foundations of robotic vision problems such as smart mobile robot navigation and industrial robots visual detection and manipulator grabbing.
We use the image collection card DH-CG300 which is made by Daheng company circulation collect two frames of images arriving at memory, this part of content includes initialization of the image card,opening the image collection, starting collection, stopping collection, ending collection and camera calibration. Toward the camera calibrating, it introduces one kind of camera model, in which has eleven parameters. We take six control points whose space coordinate and image coordinate have been known into the camera model, so we get a set of equations composing eleven unknowns, then we can find its solution. Now we realized the camera calibrating and the image collection so far.
Handle to the image that saved in at memory. First, the target object need to makes up a template that should be as small as possible, the template is ok if it can contain principal character of the target thing. Then, through template matching method to ascertain location of the target object in Real-time image, and make note of the image coordinate of target object central point, and the origin of image coordinate system sets up the lower left corner. Finally, display the target thing location area to controlling interface. So far we ascertain the image coordinate of target thing central point.
Implement controlling of the manipulator. Space coordinate of target object is ascertained, so the location that it relative to current location of manipulator is also ascertained, so we get the controlled quantity of the manipulator moving forward of target object location. We control the manipulator to arrive at target object location, grab and place the target object. The location of placing can be set up by the consumer.
The design realized control manipulator to grab target object with the method of template matching, control accuracy is higher, the hardware realization is simple, and the cost is lower.
引文
[1] 唐襄阳,张勇,李江有.机器视觉关键技术的现状与应用展望[J].昆明理工大学学报(理工版).2004,29(2):36～39
[2] 郑南宁.计算机视觉与模式识别[M].北京:国防工业出版社,1998
[3] 魏武,黄心汉.基于模板匹配和神经网络的车牌字符识别方法.模式识别与人工智能[J].2001,14(1):123～127
[4] 马颂德,张正友.计算机视觉[M].北京:科学出版社,1997
[5] 孙远,周刚慧,赵立初等.灰度图像匹配的快速算法[J].上海交通大学学报.2000,34(5):45～49
[6] 苏彦华.Visual C++数字图像识别技术典型案例[M].北京:人民邮电出版社,2004
[7] 张红军,耿随心,陈春林.Visual C++编程详解[M].北京:科学出版社,2002
[8] 贾永红.计算机图像处理与分析[M].武汉:武汉工业出版社,2001
[9] 石继雨.机器人双目立体视觉的研究[D].哈尔滨:哈尔滨工业大学硕士学位论文.2003:31～55
[10] 赵清杰,钱方,蔡利栋.计算机视觉.北京:机械工业出版社,2005
[11] 李跃,彭宇行.一种基于模板匹配的电路照片拼接方法.中国图像图形学报[J].2001,6(3):301～305
[12] 杨敏,王春青.表面组装印刷电路板上焊点信息的自动获取.焊接学报[J].2001,22(6):41～44
[13] 罗中兵,付忠良,阮波.一种改进的模板匹配算法[J].2002,22(3):28～30
[14] 官章全.Visual C++6.0 高级编程范例[M].北京:电子工业出版社,2001
[15] 孙仲康,沈振康.数字图像处理及其应用[M].北京:国防工业出版社,1985
[16] 沈庭芝,方子文.数字图像处理与模式识别[M].北京理工大学出版社,1998
[17] 罗中兵,付忠良,阮波.一种改进的模板匹配算法[J].计算机应用.2002,22(3):28～30
[18] 扬靓,黄士坦.最大互相关图像匹配算法的硬件实现[J].微电子学与计算机.1999,17(5):48～50
[19] 葛艾东.图像匹配系统的局部精度问题[J].信号处理.1992,18(3):160～168
[20] 谷隆嗣.数字滤波器与信号处理[M].北京:中国科学技术出版社,2003
[21] 丘江,刘波,杨静.基于图像差距分割的快速目标匹配识别算法[J].光子学报.2001,30(11):1343～1347
[22] 李庆文.CCD 图像传感器在工业测量中的应用[J].半导体光电.1984,5(2):28～31
[23] 罗飞路,傅恩锡.CCD 摄像机内外部参数快速准确的标定方法[J].湖南大学学报.1997,24(2):72～74
[24] 吴晓波.图像测量技术的新应用[J].光学精密工程.1998,6(3):45～49
[25] 王庆友,孙学珠.CCD 应用技术[M].天津:天津大学出版社,1993
[26] 罗飞路,陈棣湘,张屺等.自由曲面的立体视觉测量与加工一体化研究[J].国防科技大学学报.1995,17(2):12～18
[27] 许波,李正明.一种新的基于自适应模板的相关跟踪算法[J].光学与光电技术.2004, 22(4):62～64
[28] 马桂珍,马丙辰.基于双目视觉的手术器械跟踪定位技术[J].微计算机用.2005,24(2): 181～183
[29] 徐德,赵晓光,涂治国等.基于单特征点手眼系统摄像机的标定[J].高技术通讯.2005, 34(1):32～36
[30] R C 冈萨雷斯,P.温茨著.数字图像处理[M].李叔梁.北京:科学出版社,1983
[31] Milan Sonka,Vaclav Havac,Roger Boyle.图像处理、分析与计算机视觉[M].艾海舟,武勃.北京:人民邮电出版社,2003
[32] 沈庭芝,方子文.数字图像处理与模式识别[M].北京:北京理工大学出版社,1988
[33] David C. Kay.图形图像文件格式大全[M].柏东.北京:学苑出版社,1994
[34] Steve Rimmer.Windows 图像处理实用技术和范例[M].木杉.北京:学苑出版社.1994
[35] 高金源.计算机控制系统—理论、设计与实现[M].北京:北京航空航天大学出版社,2001
[36] 邱茂林,马颂德,李毅.计算机视觉中摄像机定标综述[J].自动化学报.2000,26(1):43～45
[37] 袁野,余松煜,田中旭.一种基于平面直线的摄像机标定方法[J].上海交通大学学报.2004,38(4):586～588
[38] 吕朝辉,张兆扬,安平.基于神经网络的立体视觉摄像机标定[J].机械工程学报.2003,39(9):93～96
[39] 胡占义,吴福朝.基于主动视觉摄像机标定方法[J].计算机学报.2002,25(11):1149～1156
[40] 马颂德,张正友.计算机视觉-计算理论与算法基础[M].北京:科学出版社,1998
[41] Todd J D.Advanced vision system for computer2integrated manufacturing[J].part I. CIMS.1988,1(3):143～154
[42] Todd J D.Advanced vision system for computer2integrated manufacturing[J].part Ⅱ. CIMS.1988,1(4):235～246
[43] Wei Guoqing,He Zhenya,Ma Song de.Camera Calibration by Vanishing
[44] Point and Cross Ratio. Proc I2 CASSP IEEE Int Conf Aooust Speech Signal Process, 1630～1633
[45] Wang Lingling.Tsai Wenhsang.Camera Calibration by Vanishing Lines for 3D Computer Vision.IEEE Transactions in Pattern Analysis and Machine Intelligence, 1991,13(4):370～376
[46] Penna M A . Determining Camera Parameters from the Perspective Projection of a Quadrilateral.Pattern Recognition,1991,24:533～541
[2] 郑南宁.计算机视觉与模式识别[M].北京:国防工业出版社,1998
[3] 魏武,黄心汉.基于模板匹配和神经网络的车牌字符识别方法.模式识别与人工智能[J].2001,14(1):123～127
[4] 马颂德,张正友.计算机视觉[M].北京:科学出版社,1997
[5] 孙远,周刚慧,赵立初等.灰度图像匹配的快速算法[J].上海交通大学学报.2000,34(5):45～49
[6] 苏彦华.Visual C++数字图像识别技术典型案例[M].北京:人民邮电出版社,2004
[7] 张红军,耿随心,陈春林.Visual C++编程详解[M].北京:科学出版社,2002
[8] 贾永红.计算机图像处理与分析[M].武汉:武汉工业出版社,2001
[9] 石继雨.机器人双目立体视觉的研究[D].哈尔滨:哈尔滨工业大学硕士学位论文.2003:31～55
[10] 赵清杰,钱方,蔡利栋.计算机视觉.北京:机械工业出版社,2005
[11] 李跃,彭宇行.一种基于模板匹配的电路照片拼接方法.中国图像图形学报[J].2001,6(3):301～305
[12] 杨敏,王春青.表面组装印刷电路板上焊点信息的自动获取.焊接学报[J].2001,22(6):41～44
[13] 罗中兵,付忠良,阮波.一种改进的模板匹配算法[J].2002,22(3):28～30
[14] 官章全.Visual C++6.0 高级编程范例[M].北京:电子工业出版社,2001
[15] 孙仲康,沈振康.数字图像处理及其应用[M].北京:国防工业出版社,1985
[16] 沈庭芝,方子文.数字图像处理与模式识别[M].北京理工大学出版社,1998
[17] 罗中兵,付忠良,阮波.一种改进的模板匹配算法[J].计算机应用.2002,22(3):28～30
[18] 扬靓,黄士坦.最大互相关图像匹配算法的硬件实现[J].微电子学与计算机.1999,17(5):48～50
[19] 葛艾东.图像匹配系统的局部精度问题[J].信号处理.1992,18(3):160～168
[20] 谷隆嗣.数字滤波器与信号处理[M].北京:中国科学技术出版社,2003
[21] 丘江,刘波,杨静.基于图像差距分割的快速目标匹配识别算法[J].光子学报.2001,30(11):1343～1347
[22] 李庆文.CCD 图像传感器在工业测量中的应用[J].半导体光电.1984,5(2):28～31
[23] 罗飞路,傅恩锡.CCD 摄像机内外部参数快速准确的标定方法[J].湖南大学学报.1997,24(2):72～74
[24] 吴晓波.图像测量技术的新应用[J].光学精密工程.1998,6(3):45～49
[25] 王庆友,孙学珠.CCD 应用技术[M].天津:天津大学出版社,1993
[26] 罗飞路,陈棣湘,张屺等.自由曲面的立体视觉测量与加工一体化研究[J].国防科技大学学报.1995,17(2):12～18
[27] 许波,李正明.一种新的基于自适应模板的相关跟踪算法[J].光学与光电技术.2004, 22(4):62～64
[28] 马桂珍,马丙辰.基于双目视觉的手术器械跟踪定位技术[J].微计算机用.2005,24(2): 181～183
[29] 徐德,赵晓光,涂治国等.基于单特征点手眼系统摄像机的标定[J].高技术通讯.2005, 34(1):32～36
[30] R C 冈萨雷斯,P.温茨著.数字图像处理[M].李叔梁.北京:科学出版社,1983
[31] Milan Sonka,Vaclav Havac,Roger Boyle.图像处理、分析与计算机视觉[M].艾海舟,武勃.北京:人民邮电出版社,2003
[32] 沈庭芝,方子文.数字图像处理与模式识别[M].北京:北京理工大学出版社,1988
[33] David C. Kay.图形图像文件格式大全[M].柏东.北京:学苑出版社,1994
[34] Steve Rimmer.Windows 图像处理实用技术和范例[M].木杉.北京:学苑出版社.1994
[35] 高金源.计算机控制系统—理论、设计与实现[M].北京:北京航空航天大学出版社,2001
[36] 邱茂林,马颂德,李毅.计算机视觉中摄像机定标综述[J].自动化学报.2000,26(1):43～45
[37] 袁野,余松煜,田中旭.一种基于平面直线的摄像机标定方法[J].上海交通大学学报.2004,38(4):586～588
[38] 吕朝辉,张兆扬,安平.基于神经网络的立体视觉摄像机标定[J].机械工程学报.2003,39(9):93～96
[39] 胡占义,吴福朝.基于主动视觉摄像机标定方法[J].计算机学报.2002,25(11):1149～1156
[40] 马颂德,张正友.计算机视觉-计算理论与算法基础[M].北京:科学出版社,1998
[41] Todd J D.Advanced vision system for computer2integrated manufacturing[J].part I. CIMS.1988,1(3):143～154
[42] Todd J D.Advanced vision system for computer2integrated manufacturing[J].part Ⅱ. CIMS.1988,1(4):235～246
[43] Wei Guoqing,He Zhenya,Ma Song de.Camera Calibration by Vanishing
[44] Point and Cross Ratio. Proc I2 CASSP IEEE Int Conf Aooust Speech Signal Process, 1630～1633
[45] Wang Lingling.Tsai Wenhsang.Camera Calibration by Vanishing Lines for 3D Computer Vision.IEEE Transactions in Pattern Analysis and Machine Intelligence, 1991,13(4):370～376
[46] Penna M A . Determining Camera Parameters from the Perspective Projection of a Quadrilateral.Pattern Recognition,1991,24:533～541