基于图像处理实现的人与机械手象棋对弈系统
|
摘要
本文综合运用图像处理技术、串口通讯技术、VC++程序设计及PLC控制机械手技术等设计并实现了一套基于图像处理的人和机械手面对面的象棋对弈系统：人走棋后的棋子的位置分布信息由低成本普通摄像头实时传给计算机，通过图像处理技术判断出人的走步后，上位机再调用预存的象棋规则程序计算出机械手下一步的作战策略，并通过串口通讯技术传给下位机PLC以使其来控制机械手的具体走步。该系统最大的特点在于用图像采集装置来代替传统的位置传感器，利用图像处理结果作为棋子的位置反馈信号，实现了位置信号的非接触式测量，大大节约了系统的成本。
首先从采集到的象棋盘图像产生几何失真的原因及算法执行的速度、精度方面着手，经过大量的实验分析，得到了适合本系统的快速有效的几何畸变校正方法，成功实现了象棋盘的校正并达到了良好的效果；然后对畸变校正后的图像采用了既能准确提取目标特征又不会消耗太多计算量的颜色提取的算法，实现了红色象棋子的识别；从功能和设计特点等方面考虑完成了硬件设备的选型，并给出了PLC与步进电机的控制电路原理图，实现了系统的硬件设计；从上位机的图像处理模块、串口通讯模块和下位机PLC的控制模块这三个部分着手，以VC为集成软件开发环境，完成了整套系统的软件设计。
将图像识别技术应用于对机械手操作目标的监测与识别，适应了现代化的工业要求，具有良好的应用与发展前景，因此本课题具有重要的研究意义。
Using image processing technology, serial communication technology,designing technology of VC++ program and technology of manipulator controlledby PLC, this paper designs and achieves a man and manipulator's face to facechess-playing system based on image processing. Whenever man moves one step ofhis chess, the chessboard information is sent to PC through an ordinary andlower-cost pick-up head. And after identifying where man has moved his chessthrough technology of image processing, PC calculates manipulator's next step bycalling chess-playing program prestored in computer, and passes it to PLC throughserial communication which controls manipulator's movement. Usingimage-processing device instead of conventional position sensor is the notablefeature of this system. The system uses the result of image processing as feedbacksignal of chess' positions and achieves the contactless measurement of positionsignal. And benefited from this feature, the cost of the system is greatly decreased.
Firstly, through large quantity of experiments considering the cause ofchessboard's geometric distortion, the speed and precise of algorithm, we obtaineffective and high speed algorithm which successfully corrects the geometricdistortion with satisfying effect, and the algorithm is especially suitable to thissystem. And after that, using the color extraction algorithm, which can correctlyextract target signature without spending too much calculation, we achieve theidentification of red chess. Thinking of function, designing feature etc, we finishchoosing the type of hardware, give the schematic diagram for circuit of PLC andstepper motor and so achieve the design of hardware. And still we fulfill the designof software by using VC, the software includes image-processing module of host computer, serial communication module and controlling module of slave computerPLC.
The using of image-processing technology in the inspection and recognition ofmanipulator's handling object adapts to the demand of modern industry, and it hasfavorable foreground in application and development. So this topic has importantresearch significance.
首先从采集到的象棋盘图像产生几何失真的原因及算法执行的速度、精度方面着手，经过大量的实验分析，得到了适合本系统的快速有效的几何畸变校正方法，成功实现了象棋盘的校正并达到了良好的效果；然后对畸变校正后的图像采用了既能准确提取目标特征又不会消耗太多计算量的颜色提取的算法，实现了红色象棋子的识别；从功能和设计特点等方面考虑完成了硬件设备的选型，并给出了PLC与步进电机的控制电路原理图，实现了系统的硬件设计；从上位机的图像处理模块、串口通讯模块和下位机PLC的控制模块这三个部分着手，以VC为集成软件开发环境，完成了整套系统的软件设计。
将图像识别技术应用于对机械手操作目标的监测与识别，适应了现代化的工业要求，具有良好的应用与发展前景，因此本课题具有重要的研究意义。
Using image processing technology, serial communication technology,designing technology of VC++ program and technology of manipulator controlledby PLC, this paper designs and achieves a man and manipulator's face to facechess-playing system based on image processing. Whenever man moves one step ofhis chess, the chessboard information is sent to PC through an ordinary andlower-cost pick-up head. And after identifying where man has moved his chessthrough technology of image processing, PC calculates manipulator's next step bycalling chess-playing program prestored in computer, and passes it to PLC throughserial communication which controls manipulator's movement. Usingimage-processing device instead of conventional position sensor is the notablefeature of this system. The system uses the result of image processing as feedbacksignal of chess' positions and achieves the contactless measurement of positionsignal. And benefited from this feature, the cost of the system is greatly decreased.
Firstly, through large quantity of experiments considering the cause ofchessboard's geometric distortion, the speed and precise of algorithm, we obtaineffective and high speed algorithm which successfully corrects the geometricdistortion with satisfying effect, and the algorithm is especially suitable to thissystem. And after that, using the color extraction algorithm, which can correctlyextract target signature without spending too much calculation, we achieve theidentification of red chess. Thinking of function, designing feature etc, we finishchoosing the type of hardware, give the schematic diagram for circuit of PLC andstepper motor and so achieve the design of hardware. And still we fulfill the designof software by using VC, the software includes image-processing module of host computer, serial communication module and controlling module of slave computerPLC.
The using of image-processing technology in the inspection and recognition ofmanipulator's handling object adapts to the demand of modern industry, and it hasfavorable foreground in application and development. So this topic has importantresearch significance.
引文
[1] 章毓晋，图像工程(上册)——图像处理和分析，北京：清华大学出版社，1999
[2] 江晋剑，图像识别技术在水下机器人手爪感知系统中的应用研究，[学位论文]安徽：安徽农业大学，2005
[3] 杨春杰，多关节机械手设计与运动学研究，[学位论文]武汉：武汉理工大学，2002
[4] 彭冬亮，降质图像处理方法及其在机器人视觉系统中的应用研究，[学位论文]浙江：浙江大学，2003
[5] 朱日宏，李建欣，光学成像系统中非线性畸变的数字校正方法，南京理工大学学报，2004，28(4)：414～416，431
[6] 曹俊辉，曹伯燕，不平整原稿扫描图像几何校正的研究，微机发展，2005，15(4)：135～137
[7] Katsuyuki Nakano, Masatoshi Okutomi, Yuichi Hasegawa, Camera Calibration with Precise Extraction of Feature Points Using Projective Transformation, Proceedings of the 2002 IEEE International Conference on Robotics & Automation, 2002
[8] Chen Yong-sheng, Shi Sheng-wen, Hung Yi-ping et. al, Simple and efficient method of calibrating a motorized zoom lens, Image and Vision Computing, 2001, 19: 1099～1110
[9] 康涛，基丁图像处理的检测系统的研究与设计，[学位论文]西安：西安科技大学，2005
[10] Alghoniemy M, Tewfik A H, Geometric Distortion Correction in Image Watermarking, Proc. of SPIE, 2000, 1: 82～89
[11] XU Bei-lei, Loce R P, Compensation of illumination variation and geometric distortion in scanning bound books, Chinese Journal of Scientific Instrument, 2004, 25(4): 256～259
[12] Zhang Li, Zhang Zheng, TAN Chew-lim et. al, 3D geometric and optical modeling of warped document images from scanners [A].Proc. of International Conference on Computer Vision and Pattrn Recognition, USA: San Diego, 2005, 337～342
[13] Wang Gu-liang, Du Ji, Correction of optical lens distortion by digital image method for medical electronic endoscope, Journal of Optoelectronics·La ser, 2000, 11(6): 602～605
[14] Li Zhen-fang, Huang Yuan-bao, Bao Zheng, Technology of Continuous Real-time SAR Imaging, Journal of Xidian University, 2003, 30(4): 446～449
[15] Zheng Yi-ming, Bao Zheng, An Improved Phase Error Estimation Algorithm, Journal of Xidian University, 2001, 28(4): 472～477
[16] Wang De-ming, Doddrell D M, Cowin G, A novel phantom and method for comprehensive 3-dimensional measurement and correction of geometric distortion in magnetic resonance imaging, Magnetic Resonance Imaging, 2004, 22: 529～542
[17] Breeuwer M, Holden M, Zylka W, Detection and correction of geometric distortion in 3D MR images, Medical Imaging: image processing, 2001, 4322: 1110～1120
[18] 张键，段滔，刘爱东，全景图像几何畸变校正的算法研究及其软件实现，光学与光电技术，2006，1(2)：60～64
[19] 周海林，王立琦，光学图像儿何畸变的快速校正算法，中国图像图形学报，2003，8 (10)：1131～1135
[20] 唐高友，邓小丽，廖传锦等，公路视觉导航中道路图像的阈值分割，计算机仿真，2005，22(12)：211～213，233
[21] 于新文，沈佐锐，几种图像分割算法在棉铃虫图像处理中的应用，中国农业大学学报，2001，6(5)：69～75
[22] Zhang Xiao-guang, Lin Jia-jun, Li Yu, Development of automatic extraction weld for industrial radiographic negative inspection, Journal of China University of Mining and Technology, 2003, 13(1): 79～83
[23] SANG-KYUN IM, HYUNG-MAN PARK, An Biometric Identification System by Extracting Rand Vein Patterns, Journal of the Korean Physical Society, 2003, 38(3): 268～272
[24] 严国莉，黄山，王新增等，基于局部动态阈值的矾花图像分割，计算机应用与软件，2006，23(10)：105～107，117
[25] Demigny D, An Optimal Linear Filtering for Edge Detection, IEEE Transactions on Image Processing, 2002, 11(7): 728～737
[26] 鲍虎，张海丹，孙巍，基于改进Sobel算子的边缘检测车牌定位方法，海军航空工程学院学报，2005，20(5)：585～587
[27] 雷艳敏，黄秋元，基于数学形态学的图像边缘检测，武汉理工大学学报(信息与管理工程版)，2005，27(5)：25～27
[28] Chen T, Wu Q H, Rahmani-Torkaman R et. al, A pseudo top-hat mathematical morphological approach to edge detection in dark regions, Pattern Recognition, 2002, 35(1): 199～210
[29] 袁莉茹，基于图像处理的军用自动报靶系统弹孔识别，[学位论文]重庆：重庆大学，2006
[30] 王胜正，施朝健，基于两种色彩空间的颜色选择方法，计算机应用与软件，2004，21(2)：114～116
[31] 杨大刚，窦万春，蔡士杰等，HIS颜色模型在有核骨髓细胞图像分割中的应用，2004，21(9)：72～74
[32] H. D. Cheng, X. H. Jiang, Y. Sun etc, Color image segmentation: advances and prospects, Pattern Recognition, 2001, 34(12): 2259～2281
[33] 杨旭强，冯勇，刘洪臣，一种基于HIS颜色模型的目标提取方法，光学技术，2006，32(2)：290～292
[34] 刘光蓉，周红，管庶安，基于图像处理技术的大米轮廓检测，粮食与饲料工业，2004，5：14～15
[35] James B, Tucker B, Meanuela V, Fast and inexpensive color image segment for interactive robots: Shigeki S, Proceedings of the 2000 IEEE/RSJ International Conference on Intelligent Robots and Systems, Takamatsu: Tsukuba University Press, 2000, 2061～2066
[36] Han Xiao-wei, Li Jun-sheng, Li Yan-ping et. al, An approach of color object searching for vision system of soccer robot: Proc of IEEE Int Conf, On Robotics and Biomimetics, 2004, 501～505
[37] 赵永涛，李志敏，王洪建等，印章识别中的图像预处理研究，仪器仪表学报，2004，25(4)：401～403，410
[38] 张旭，陈树越，一种基于统计特性的邻域均值滤波算法，科技情报开发与经济，2005，15(2)：146～147
[39] 高浩军，杜宇人，中值滤波在图像处理中的应用，电子工程师，2004，30(8)：35～36
[40] 崔屹，图像处理与分析—数学形态学方法及应用，北京：科学出版社，2000
[41] 王润秋，郑桂娟，付洪洲等，地震资料处理中的形态滤波去噪方法，石油地球物理勘探，2005，40(3)：277～282
[42] 原立家，祝连庆，董明利，高精度的步进电机控制系统设计，北京机械工业学院学报，2006，21(1)：47～48，57
[43] 顾占松，可编程控制器原理及应用，北京：国防工业出版社，1996，56～74
[44] 廖常初，PLC编程及应用，北京：机械工业出版社，2003
[45] 廖常初，可编程序控制器的编程方法与工程应用，重庆：重庆大学出版社，2001，2～3
[46] 杨红云，尹立民等，Visual C++程序设计视频教程，北京：电子工业出版社，2005
[47] 郎锐，数字图像处理学VC++实现，北京：北京希望电子出版社，2003
[48] 高宗海，林盘，李大成等，windows下视频采集程序的没计，现代电子技术，2002，1：133～135
[49] 赵君，王乘，图像格式分析与图像显示实现，计算机与数字工程，2004，32(5)：1～3，16
[50] 谭思亮，邹超群，Visual C++串口通信工程开发实例导航，北京：人民邮电出版社，2003
[51] 胡赤兵，桑瑞鹏，利用Visum C++6.0编制串行通信程序的实现，电气传动自动化，2006，28(4)：48～50
[52] 高歌，苏志武，S7-200 PLC与PC间的串口通信，北京广播学院学报(自然科学版)，2005，12(3)：41～46
[53] 连志勇，电梯模型PLC控制系统设计，[学位论文]西安：西安建筑科技大学，2005
[54] Wang Zhi-liang, Gu Xue-jing, Xie Lun, The control method of stepping motors for biped-robot, Electrical Machines and Systems, 2003, 10:514～516
[55] He Guo-jin, He Ying, Several Simple Design Methods on PLC Sequential Control System, Modular Machine Tool &Automatic Manufacturing Technique, 2005, 2: 66～68
[56] 宜财鑫，PLC脉冲控制步进电机技术，机车车辆工艺，2002，1：31～32
[2] 江晋剑，图像识别技术在水下机器人手爪感知系统中的应用研究，[学位论文]安徽：安徽农业大学，2005
[3] 杨春杰，多关节机械手设计与运动学研究，[学位论文]武汉：武汉理工大学，2002
[4] 彭冬亮，降质图像处理方法及其在机器人视觉系统中的应用研究，[学位论文]浙江：浙江大学，2003
[5] 朱日宏，李建欣，光学成像系统中非线性畸变的数字校正方法，南京理工大学学报，2004，28(4)：414～416，431
[6] 曹俊辉，曹伯燕，不平整原稿扫描图像几何校正的研究，微机发展，2005，15(4)：135～137
[7] Katsuyuki Nakano, Masatoshi Okutomi, Yuichi Hasegawa, Camera Calibration with Precise Extraction of Feature Points Using Projective Transformation, Proceedings of the 2002 IEEE International Conference on Robotics & Automation, 2002
[8] Chen Yong-sheng, Shi Sheng-wen, Hung Yi-ping et. al, Simple and efficient method of calibrating a motorized zoom lens, Image and Vision Computing, 2001, 19: 1099～1110
[9] 康涛，基丁图像处理的检测系统的研究与设计，[学位论文]西安：西安科技大学，2005
[10] Alghoniemy M, Tewfik A H, Geometric Distortion Correction in Image Watermarking, Proc. of SPIE, 2000, 1: 82～89
[11] XU Bei-lei, Loce R P, Compensation of illumination variation and geometric distortion in scanning bound books, Chinese Journal of Scientific Instrument, 2004, 25(4): 256～259
[12] Zhang Li, Zhang Zheng, TAN Chew-lim et. al, 3D geometric and optical modeling of warped document images from scanners [A].Proc. of International Conference on Computer Vision and Pattrn Recognition, USA: San Diego, 2005, 337～342
[13] Wang Gu-liang, Du Ji, Correction of optical lens distortion by digital image method for medical electronic endoscope, Journal of Optoelectronics·La ser, 2000, 11(6): 602～605
[14] Li Zhen-fang, Huang Yuan-bao, Bao Zheng, Technology of Continuous Real-time SAR Imaging, Journal of Xidian University, 2003, 30(4): 446～449
[15] Zheng Yi-ming, Bao Zheng, An Improved Phase Error Estimation Algorithm, Journal of Xidian University, 2001, 28(4): 472～477
[16] Wang De-ming, Doddrell D M, Cowin G, A novel phantom and method for comprehensive 3-dimensional measurement and correction of geometric distortion in magnetic resonance imaging, Magnetic Resonance Imaging, 2004, 22: 529～542
[17] Breeuwer M, Holden M, Zylka W, Detection and correction of geometric distortion in 3D MR images, Medical Imaging: image processing, 2001, 4322: 1110～1120
[18] 张键，段滔，刘爱东，全景图像几何畸变校正的算法研究及其软件实现，光学与光电技术，2006，1(2)：60～64
[19] 周海林，王立琦，光学图像儿何畸变的快速校正算法，中国图像图形学报，2003，8 (10)：1131～1135
[20] 唐高友，邓小丽，廖传锦等，公路视觉导航中道路图像的阈值分割，计算机仿真，2005，22(12)：211～213，233
[21] 于新文，沈佐锐，几种图像分割算法在棉铃虫图像处理中的应用，中国农业大学学报，2001，6(5)：69～75
[22] Zhang Xiao-guang, Lin Jia-jun, Li Yu, Development of automatic extraction weld for industrial radiographic negative inspection, Journal of China University of Mining and Technology, 2003, 13(1): 79～83
[23] SANG-KYUN IM, HYUNG-MAN PARK, An Biometric Identification System by Extracting Rand Vein Patterns, Journal of the Korean Physical Society, 2003, 38(3): 268～272
[24] 严国莉，黄山，王新增等，基于局部动态阈值的矾花图像分割，计算机应用与软件，2006，23(10)：105～107，117
[25] Demigny D, An Optimal Linear Filtering for Edge Detection, IEEE Transactions on Image Processing, 2002, 11(7): 728～737
[26] 鲍虎，张海丹，孙巍，基于改进Sobel算子的边缘检测车牌定位方法，海军航空工程学院学报，2005，20(5)：585～587
[27] 雷艳敏，黄秋元，基于数学形态学的图像边缘检测，武汉理工大学学报(信息与管理工程版)，2005，27(5)：25～27
[28] Chen T, Wu Q H, Rahmani-Torkaman R et. al, A pseudo top-hat mathematical morphological approach to edge detection in dark regions, Pattern Recognition, 2002, 35(1): 199～210
[29] 袁莉茹，基于图像处理的军用自动报靶系统弹孔识别，[学位论文]重庆：重庆大学，2006
[30] 王胜正，施朝健，基于两种色彩空间的颜色选择方法，计算机应用与软件，2004，21(2)：114～116
[31] 杨大刚，窦万春，蔡士杰等，HIS颜色模型在有核骨髓细胞图像分割中的应用，2004，21(9)：72～74
[32] H. D. Cheng, X. H. Jiang, Y. Sun etc, Color image segmentation: advances and prospects, Pattern Recognition, 2001, 34(12): 2259～2281
[33] 杨旭强，冯勇，刘洪臣，一种基于HIS颜色模型的目标提取方法，光学技术，2006，32(2)：290～292
[34] 刘光蓉，周红，管庶安，基于图像处理技术的大米轮廓检测，粮食与饲料工业，2004，5：14～15
[35] James B, Tucker B, Meanuela V, Fast and inexpensive color image segment for interactive robots: Shigeki S, Proceedings of the 2000 IEEE/RSJ International Conference on Intelligent Robots and Systems, Takamatsu: Tsukuba University Press, 2000, 2061～2066
[36] Han Xiao-wei, Li Jun-sheng, Li Yan-ping et. al, An approach of color object searching for vision system of soccer robot: Proc of IEEE Int Conf, On Robotics and Biomimetics, 2004, 501～505
[37] 赵永涛，李志敏，王洪建等，印章识别中的图像预处理研究，仪器仪表学报，2004，25(4)：401～403，410
[38] 张旭，陈树越，一种基于统计特性的邻域均值滤波算法，科技情报开发与经济，2005，15(2)：146～147
[39] 高浩军，杜宇人，中值滤波在图像处理中的应用，电子工程师，2004，30(8)：35～36
[40] 崔屹，图像处理与分析—数学形态学方法及应用，北京：科学出版社，2000
[41] 王润秋，郑桂娟，付洪洲等，地震资料处理中的形态滤波去噪方法，石油地球物理勘探，2005，40(3)：277～282
[42] 原立家，祝连庆，董明利，高精度的步进电机控制系统设计，北京机械工业学院学报，2006，21(1)：47～48，57
[43] 顾占松，可编程控制器原理及应用，北京：国防工业出版社，1996，56～74
[44] 廖常初，PLC编程及应用，北京：机械工业出版社，2003
[45] 廖常初，可编程序控制器的编程方法与工程应用，重庆：重庆大学出版社，2001，2～3
[46] 杨红云，尹立民等，Visual C++程序设计视频教程，北京：电子工业出版社，2005
[47] 郎锐，数字图像处理学VC++实现，北京：北京希望电子出版社，2003
[48] 高宗海，林盘，李大成等，windows下视频采集程序的没计，现代电子技术，2002，1：133～135
[49] 赵君，王乘，图像格式分析与图像显示实现，计算机与数字工程，2004，32(5)：1～3，16
[50] 谭思亮，邹超群，Visual C++串口通信工程开发实例导航，北京：人民邮电出版社，2003
[51] 胡赤兵，桑瑞鹏，利用Visum C++6.0编制串行通信程序的实现，电气传动自动化，2006，28(4)：48～50
[52] 高歌，苏志武，S7-200 PLC与PC间的串口通信，北京广播学院学报(自然科学版)，2005，12(3)：41～46
[53] 连志勇，电梯模型PLC控制系统设计，[学位论文]西安：西安建筑科技大学，2005
[54] Wang Zhi-liang, Gu Xue-jing, Xie Lun, The control method of stepping motors for biped-robot, Electrical Machines and Systems, 2003, 10:514～516
[55] He Guo-jin, He Ying, Several Simple Design Methods on PLC Sequential Control System, Modular Machine Tool &Automatic Manufacturing Technique, 2005, 2: 66～68
[56] 宜财鑫，PLC脉冲控制步进电机技术，机车车辆工艺，2002，1：31～32