用户名: 密码: 验证码:
基于ANN和单摄像头三像同步获取技术的苹果自动分级系统研究
详细信息    本馆镜像全文|  推荐本文 |  |   获取CNKI官网全文
摘要
鉴于目前我国苹果存在品质差、价格低、附加值低、进出口贸易逆差大等问题,并且针对苹果果梗、萼区的处理是分级难点的现实,本文采用集机器视觉、神经网络、自动旋转定向输送等技术为一体的苹果品质实时检测方法,研究尝试基于HALCON和VC++平台的神经网络综合分级技术以及探索使用单摄像头双平面镜同时拍摄物体3幅不同侧面图像方法,开发并研制了一套苹果分级机械装置及基于神经网络的自动分级软件系统。研究成果对促进苹果果业健康发展,具有非常现实的社会和经济意义,同时可对基于神经网络的苹果分级生产线的研制奠定理论基础,为我国苹果参与国际市场竞争提供技术保障。主要创新性成果有:
     (1)研究并设计了基于自动旋转定向的苹果分级机械装置,使苹果能自动进出料、自动转正。苹果自动转正后,其果梗和花萼轴线位于竖直位置,为后续图像处理提高实时性奠定基础。
     (2)在苹果分级机械装置的基础上,创新提出了集成设计苹果保鲜剂自动喷涂装置的思路。苹果在进行分级的同时,完成保鲜剂喷涂,将可极大提高生产率,降低生产成本,全面提高苹果品质。
     (3)首次研究并设计了单摄像头拍摄同时获取苹果3幅图像的系统,并用补偿镜补光照明方法获取优质图像。利用两个对称布置的平面镜,在一次拍摄过程中,得到苹果的3个不同侧面的图像,与其它分级系统相比,节省了至少2个摄像头,节约了成本。利用补偿镜补光照明方法,使获得的苹果图像清晰,有利于后续图像处理并提高分级实时性。
     (4)对图像拍摄误差进行分析,首次建立了单摄像头、双平面镜条件下采集苹果图像所造成的误差数学模型,结果表明,图像盲区拍摄误差为5%,且这部分盲区位于方案设计中不进行检测的果梗和花萼区。对图像拍摄景深进行分析和计算,为一次拍摄清晰的3幅苹果图像提供了理论依据。
     (5)研究了苹果颜色分级的新方法。研究用苹果H分量在0~60o以及210o~255o进行分割,并将分割得到的苹果红色区域面积与苹果总表面积之比作为苹果颜色分级指标,该方法具有计算速度快的优点。首次研究了苹果图像在L*a*b*空间的特征,发现每一种等级的苹果其a*b*值范围有很大区别,可以得出用a*b*作为颜色分级指标以及介于0.9~1之间为特级、0.8~0.9之间为一级、小于0.8为二级或等外的结论。
     (6)提出了基于Kirsch算子提取苹果果面缺陷的新方法。对于获取的苹果图像,分别用Kirsch算子、LOG算子及Sobel算子对苹果果面缺陷进行提取,Kirsch算子提取出的果面缺陷效果最好,Sobel算子次之,LOG算子最差。
     (7)提出将多线程技术用于苹果分级系统。将多线程技术用于苹果分级系统实现并行处理,使苹果分级图像处理速度得到了较大提高,1s可以处理20帧以上苹果图像,完全满足实时生产的需要。
     (8)对苹果综合分级方法进行研究,首次研究并设计了基于HALCON和VC++平台的神经网络苹果综合分级系统。用本文苹果分级系统对30个苹果进行分级,并用人工分级进行对比,结果表明,分级系统分级正确率达到96.7%,满足苹果分级要求。
Due to poor apple quality and low price in China, and identifying stem/calyx of apple was difficult inapple grading, an apple grading machine and software based on techniques such as machine vision, neuralnetwork, and automatic orientation etc. was developed in this paper to improve the quality of apple in China.Integrated grading technique based on HALCON and C++and neural network was discussed. Method ofcapturing three images at the same time using one camera with two mirrors was researched. The results ofstudy could give basis of manufacturing apple grading production line.
     The innovative results and conclusions were list as follows:
     (1) An apple grading machine was designed through autorotation orientation, where apple could beautomatically feed, discharged, and orientated. The stem and calyx of apple was orientated invertical position which could save time of image processing.
     (2) Automatic preservatives spraying device was innovatively brought forward to be integrated withthe apple grading machine to improve productivity and apple quality, cut the production cost.
     (3) An image capturing system with one camera and two mirrors was designed to capture threeimages of one apple at the same time. The other four fill-in mirrors were used to reflect light,where clear image would be captured. Compared with other kind of machine vision systems, thesystem in this paper saved at least two cameras, and real-time performance was enhanced also.
     (4) Error of image capturing was researched. Mathematical model of error of image capturing systemby one camera and two mirrors was established. It was shown that the error of blind area of imagecapturing was only5%which was in the stem and calyx of apple and where didn’t need to detectby designing. Formula of depth of focus was established, so it could get three images of one appleclearly by one capturing.
     (5) New method of apple color grading was discussed. Using hue component in0~60o and210o~255o to segment apple image. The ratio of the segmentation area by using hue component in0~60o and210o~255o to the whole area of image was introduced as color grading parameter. Thismethod had advantage of fast calculation speed. L*a*b*color mode was discussed to grade applecolor, where value a*b*at0.9~1was top grade, value a*b*at0.8~0.9was first grade, valueless than0.8was second grade.
     (6) New method to extract apple surface defects based on the Kirsch operator was discussed. Kirsh,LOG, Sobel was used to segment surface detect of apple respectively, where Kirsch operaterextracting surface detects of apple is the best, LOG is the worst.
     (7) Multi-threading technology was used in apple grading system. The speed of grading was morequickly by using multi-threading technology, more than20apple images could be processedwithin1s, which could meet the needs of real-time production.
     (8) Integrated grading technique was researched. Integrated grading system based on HALCON andC++and artificial neural network was designed.30apples were graded using this system, gradingaccuracy was96.7%compared with manual grading.
引文
[1]崔家升,李晓萍.世界苹果种植概况与我国苹果生产前景展望[J].北方果树,2012,7(4),1~3.
    [2]滨州林业信息网.果业的影响及对策分析.http://www.bzly.net/ReadNews.asp?NewsID=307&BigClassName=WTO%E4%B8%93%E9%A2%98&SmallClassName=%E7%9B%B8%E5%85%B3%E6%96%87%E7%AB%A0&SpecialID=12.
    [3]中华人民共和国农业部.2007中国农业统计资料[M].北京:中国农业出版社,2008.
    [4]三农在线网.我国水果种植加工业亟待结构调整.http://www.farmer.com.cn/hy/hydt/200901/t20090120_421375.htm.
    [5]农村水果网论坛.我国要成为世界苹果出口大国,必须优化品质强化内销.http://www.91fruit.com/Bbs/regirect.php?tid=613&goto=lastpost.
    [6]陈进景.保健佳品——苹果[J].河北果树,1996,29(2):44.
    [7]张苑英,赖萍,李富等.我国果蔬采后商品化处理技术的现状分析[J].安徽农学通报,2006,12(10):90-91.
    [8]饶秀勤.基于机器视觉的水果品质实时检测与分级生产线的关键技术研究[D].浙江:浙江大学博士学位论文,2007.
    [9]黄秀玲,郑加强,赵茂程.水果分级支撑技术的研究进展[J].南京林业大学学报(自然科学版),2007,31(2):123~126.
    [10] Narendra V G, Hareesh K S. Quality Inspection and Grading of Agricultural and Food Products byComputer Vision-A Review. International Journal of Computer Applications.2010,2(1):43~65.
    [11] J. A. Throop. Apple damage segmentation utilizing reflectance spectra of the defect[J]. ASAE Paper,1997,Number:973078.
    [12] J. A. Throop, D. J. Aneshansley, W. C. Anger, D. L. Peterson. Quality Evaluation of Apples Based onSurface Defects–An Inspection Station Design[J]. ASAE Paper,2003, Number:036161.
    [13] Siwalak Pathaveerat. On-Line NMR Evaluation of Avocado Fruit Quality[J]. ASAE Paper,2001,Number:013003.
    [14] J. S. Wulf, E. Mulugeta, M. Zude. Laser-Induced Fluorescence Spectroscopy (LIFS)-Influencing Factorson Measurements[J]. ASAE Paper,2003, Number:036117.
    [15] Renfu Lu. Predicting Apple Fruit Firmness and Sugar Content Using Near-Infrared ScatteringProperties[J]. ASAE Paper,2003, Number:036212.
    [16] J. Lammertyn et al. X-ray CT and Magnetic Resonance Imaging to Study the Development of CoreBreakdown in conference Pears[J]. ASAE Paper,2001, Number:016037.
    [17] Jatuphong Varith et al. Thermal Image Bruise Detection[J]. ASAE Paper,2001, Number:016031.
    [18] Z. Wen, Y. Tao. Dual-Camera NIR/MIR Imaging For Stem-end/Calyx Ientification In Apple DefectSorting[J]. Transactions of the ASAE,2000,43(2):449-452.
    [19] Ki-Bok Kim et al. Analysis of Ultrasonic Transmitted Signal of Stored Apple Using Wavelet Transform[J].2005ASAE Annual Meeting, Paper number:056095.
    [20]刘禾、汪懋华.苹果自动分级中的图像分割[J].中国农业大学学报,1996,1(6):89~93.
    [21]刘禾、汪懋华.用计算机图像技术进行苹果坏损自动检测的研究[J].农业机械学报,1998,29(4):81~86.
    [22]李庆中,汪懋华.基于分形特征的水果缺陷快速识别方法[J].中国图像图形学报,2002,5(2):144~148.
    [23]冯斌,汪懋华.基于颜色分形的水果计算机视觉分级技术[J].农业工程学报,2002,18(2):141~144.
    [24]应义斌,景寒松,马俊福.用计算机视觉进行黄花梨果梗识别的新方法[J].农业工程学报,1998,14(2):221~225.
    [25]蒋焕煜,应义斌等.水果品质智能化实时检测分级生产线的研究[J].农业工程学报,2002,18(6):158~160.
    [26]沈明霞,李秀智,姬长英.水果品质检测中的模糊阈值分割方法[J].农业机械学报,2003,34(5):113~115.
    [27]赵杰文,刘文彬,邹小波.基于三摄像系统的苹果缺陷快速判别[J].江苏大学学报(自然科学版),2006,27(4):287~290.
    [28]饶秀勤,应义斌.水果按表面颜色分级的方法[J].浙江大学学报(工学版),2009,43(5):869~871.
    [29]刘燕德,应义斌,等.基于光纤传感的富士苹果糖度检测试验研究[J].传感技术学报,2003(3):328~331.
    [30]胥芳,计时鸣等.水果电特性的无损检测在水果分选中的应用[J].农业机械学报,2002,33(2):53~56.
    [31]应义斌,徐惠荣,徐正冈.用于柑桔成熟度无损检测的色度频度序列法研究[J].生物数学学报,2006,21(2):306~312.
    [32]刘燕德,孙旭东,陈兴苗.近红外漫反射光谱检测梨内部指标可溶性固性物的研究[J].光谱学与光谱分析,2008,28(4):797~800.
    [33]王家保,杜中军等.我国水果分级标准:问题与对策[J].农业质量标准,2006(2):20~23.
    [34]吴德光.国外水果分级技术[J].云南农业大学学报,1992,7(2):110~115.
    [35]张聪.测量光幕于水果分级设备中的应用研究[J].包装工程,2006,23(6):35~38.
    [36]李光梅,魏新华,李法德等.水果机器视觉质量综合分选机的设计[J].农机化研究,2008,11:124~126.
    [37] D. P. Whitelock, G. H. Brusewitz, M. L. Stone. Apple shape and rolling orientation[J]. AppliedEngineering in Agriculturem,2006,22(1):87-94
    [38] J. A. Throop, D. J. Aneshansley. Conveyor Design for Apple Orientation. An ASAE Meeting Presentation,Paper Number:036123.
    [39]贾云得.机器视觉[M].北京:科学出版社,2000.
    [40]李福建,张元培.机器视觉系统组成研究[J].自动化博览,2004,2:61~63.
    [41]应义斌,韩东海.农产品无损检测技术[M].北京:化学工业出版社,2005,3.
    [42]徐惠荣,应义斌,盖玲.双锥式滚子水果输送翻转机构的研究[J].农业机械学报,2003,34(6):100~103.
    [43]籍保平,吴文才.计算机视觉苹果分级系统[J].农业机械学报,2000,31(6):118~121.
    [44]吴德光,蔡宗寿.双辊式水果分级装置参数研究[J].云南农业大学学报,1997,12(4):292~297.
    [45]应义斌,景寒松,马俊福等.黄花梨果形的机器视觉识别方法研究[J].农业工程学报,1999,15(1):192~196.
    [46]冯斌,汪懋华.基于计算机视觉的水果大小检测方法[J].农业机械学,2003,34(1):73~75.
    [47]应义斌,饶秀勤,,赵匀,等.机器视觉技术在农产品品质自动识别中的应用研究进展[J].农业工程学报,2000,16(3):4~7.
    [48]赵彦如,钱东平,杨世风.鸭梨品质检测计算机视觉系统研究[J].河北农业大学学报,2003,26(增刊):280~282.
    [49]叶昱程,应义斌.水果品质检测与分级技术[J].农机化研究,2003,1:58~59.
    [50]张方明.应义斌.水果分级机器人关键技术的研究和发展[J].机器人技术与应用,2004,1:33~37;
    [51]高华,王雅琴.基于计算机视觉的农产品形状分级研究[J].计算机工程与应用,2004,14:227~229.
    [52]林开颜,吴军辉,徐立鸿.基于计算机视觉技术的水果形状分级方法[J].农业机械学报,2005,36(6):71~74.
    [53]赵杰文,盛伟,邹小波等.水果外观质量在线检测系统的软件实现[J].农业工程学报,2006,22(6):115~118.
    [54]应义斌,桂江生,饶秀勤.基于Zernike矩的水果形状分类[J].江苏大学学报(自然科学版),2007,28(1):1~3.
    [55]曹乐平.卧式转鼓水果多头分级机输送及翻转机构研究[J].农机化研究,2007,10:25~28.
    [56]游家训,陈超,郭创新.径向基神经网络在水果颜色分级机中的应用[J].轻工机械,2008,26(3):24~26.
    [57]赵茂程,侯文军.基于神经网络的苹果自动分级方法[J].南京林业大学学报(自然科学版),2009,33(1):136~138.
    [58]赵茂程,侯文军.我国基于机器视觉的水果自动分级技术及研究进展[J].包装与食品机械,2007,25(5):5~8.
    [59] Rehkugler G E,Hroop J A. Apple sorting with machine vision[J]. Transactions of the ASAE,1986,29(5):1388~1397.
    [60] D. Unay, B. Gosselin.Stem and calyx recognition on 'Jonagold' apples by pattern recognition[J]. Journal ofFood Engineering,2007,78(2):597~605.
    [61]黄秀玲,郑加强,赵茂程.基于自动定向的苹果品质智能分级生产线设计[J].安徽农业科学,2008,36(7):3037~3038,3041.
    [62]王正品,李炳.工程材料[M].北京:机械工业出版社,2012.
    [63]佳工机电网.滚子链传动的设计计算. http://part.newmaker.com/art_4311.html.
    [64]金思博,林子其.基于机器视觉的果料异物自动检测系统光源设计[J].粮油加工,2008,8:100~102.
    [65]叶昱程.基于多光谱图像的水果外观品质检测方法研究[D].杭州:浙江大学硕士研究生学位论文,2005.
    [66]唐向阳,张勇,黄岗等.机器视觉技术在烟草杂物剔除系统中的应用[J].机电一体化,2003,5:22~24.
    [67] J.R.柯顿,A.M.马斯登.光源与照明(第四版)[M].上海:复旦大学出版社,2000.
    [68]申功烈.能源开发成热点LED固态光源性能及应用前景(上)[J].电子测试,2006,9:87~90.
    [69]申功烈.能源开发成热点LED固态光源性能和应用前景(下)[J].电子测试,2006,10:83~88.
    [70]工业相机的基础与选择. http://hi.baidu.com/evenfit/blog/item/41884864950ab4f5f73654d5.html.
    [71]唐文彦.传感器(第4版)[M].北京:机械工业出版社,2002.
    [72]戴焯.传感器原理与应用[M].北京:北京理工大学出版社,2010.
    [73]孟立凡,蓝金辉.传感器原理与应用[M].北京:电子工业出版社,2011.
    [74]王桂荣,李宪芝.传感器原理及应用[M].北京:中国电力出版社,2010.
    [75]王清英.景深公式的推导[J].南阳师范学院学报(自然科学版),2003,3:24~26.
    [76]颜志刚.摄影技艺教程[M].上海:复旦大学出版社,2002.
    [77] Rafael.C.G,Richard.E.W.数字图像处理(第二版)[M].北京:电子工业出版社.2007,8.
    [78] Rafael.C.G,Richard.E.W.数字图像处理(MATLAB版).[M].北京:电子工业出版社.2005,9.
    [79] Kennth R catleman著.朱志刚,石定机等译.数字图像处理[M].北京:电子工业出版社,1998.
    [80] Rafael R Richard著.阮秋琦,阮宇智等译.数字图像处理(第三版)[M].北京:电子工业出版社,2011.
    [81]马颂德,张正友.计算机视觉[M].北京:科学出版社,1998.
    [82]郑逢杰,余涛,袁国体等.相机几何标定方法综述[J].太原科技.2010,2:72~73.
    [83]刘禾,汪懋华.水果果型判别人工神经网络专家系统的研究[J].农业工程学报,1996,12(l):171~176.
    [84]应义斌,景寒松等.机器视觉技术在黄花梨尺寸和果面缺陷检测中的应用[J].农业工程学报,1999,15(1):197一200.
    [85]袁金丽.计算机视觉在苹果外部品质检测与分级方面的应用研究[D].北京:中国农业大学硕士学位论文,2005.
    [86]向光蓉.基于图像识别的苹果分级研究[D].大连:大连海事大学硕士学位论文,2003.
    [87]李秀智.基于机器视觉的苹果形状分级系统研究[D].南京:南京农业大学硕士研究生学位论文.2003.
    [88]中华人民共和国国家质量监督检验检疫总局.中华人民共和国国家标准.鲜苹果. GB/T10651-2008.
    [89] Miller.B.K, Delwiche.M.J, A color vision system for peach grading[J]. Trans of theASAE,1989,32(4):1484~1490.
    [90] Tao.Y, Heinemann.P.H,Varqhese.Z, Machine vision color inspection of potatoes and apples[J].Transactions of the ASAE,1995,38(5):1555~1561.
    [91]侯文军.基于机器视觉的苹果自动分级方法研究[D].南京:南京林业大学硕士研究生学位论文.2006.
    [92]闫之烨.基于计算机视觉的苹果颜色分级系统的研究[D].南京:南京农业大学硕士研究生学位论文.2003.
    [93]何东健,杨青等.果实表面颜色计算机视觉分级技术研究[J].农业工程学报.1998,14(3):202~205.
    [94] Q.Yang. An approach to apple surface feature detection by machine vision[J]. Computers and Electronicsin Agriculture.1994,11:249~264.
    [95] Q.Yang. Accurate blemish detection with active contour models[J]. Computers and Electronics inAgriculture.1996,1:77~89.
    [96] B.S. Bennedsen, D.L. Peterson, Amy Tabb. Identifying defects in images of rotating apples[J]. Computersand Electronics in Agriculture.2005,48:92~102.
    [97]庞江伟.基于计算机视觉的脐橙表面常见缺陷种类识别的研究[D].浙江:浙江大学硕士研究生学位论文.2006.
    [98]张广军.机器视觉[M].北京:科学出版社,2005.
    [99] Tinku Acharya, Ajoy K. Ray著.田浩,葛秀慧,王顶等译.数字图像处理原理与应用[M].北京:清华大学出版社,2007.
    [100]辛德(Snyder, W.E.).机器视觉教程[M].北京:机械工业出版社,2005.
    [101]韩九强,胡怀中,张新曼等.机器视觉技术及应用[M].北京:高等教育出版社,2009.
    [102] HALCON机器视觉的动力. http://www.daheng-image.com/Html/Info/20088/200885/200885110045.shtml.
    [103]马安鹏. Visual C++6程序设计导学[M].北京:清华大学出版社,2004.
    [104]孙鑫. VC++深入详解(修订版)[M].北京:电子工业出版社,2012.
    [105]邱仲潘,柯渝,谢燕华. Visual C++6从入门到精通[M].北京:电子工业出版社,2006.
    [106]求是科技. Visual C++数字图像处理典型算法及实现[M].北京:人民邮电出版社,2006.
    [107]杨淑莹. Visual C++图像处理程序设计[M].北京:清华大学出版社,北京交通大学出版社,2006.
    [108]祁云嵩,刘永良,华伟. VC++程序设计解析与训练[M].上海:华东理工大学出版社,2005.
    [109]胡峪,刘静. VC++编程技巧与示例[M].西安:西安电子科技大学出版社,2000.
    [110]辛长安,梅林. VC++编程技术与难点剖析[M].北京:清华大学出版社出版,2002.
    [111]明日科技. Visual C++从入门到精通(第3版)[M].北京:清华大学出版社,2012.
    [112]刘禾,汪懋华.水果果形判别人工神经网络专家系统的研究[J].农业工程学报,1996,12(1):172~176.
    [113]郭志涛,袁金丽,岳大为等.基于L-M神经网络的苹果形状快速分级[J].农业网络信息,2007,7:28~30.
    [114] Cybenko G. Approximation by superpositions of a sigmoidal function[J]. Mathematics of Control,Signals, and Systems.1989,2(4):303-314.
    [115]冯今朝,王仲生.基于LM优化算法的神经网络在航空发动机转子故障诊断中的应用[J].宇航计测技术.2007,27(2):18~21.
    [116]刘耦耕,李圣清,肖强晖.多层前馈人工神经网络结构研究[J].湖南师范大学自然科学学报.2004,27(1):26~30.
    [117]刘文杰,马海波.人工神经网络训练样本的相容性检测及化简[J].大连铁道学院学报,2000,21(2):47~49.
    [118]高隽.人工神经网络原理及仿真实例[M].北京:机械工业出版社,2005.
    [119]飞思科技产品研发中心.神经网络理论与MATLAB7实现[M].北京:电子工业出版社,2005.
    [120]阎平凡.人工神经网络与模拟进化计算[M].北京:清华大学出版社,2005.
    [121]田景文,高美娟.人工神经网络算法研究及应用[M].北京:北京理工大学出版社,2006.
    [122]杨建刚.人工神经网络实用教程[M].杭州:浙江大学出版社,2001.
    [123]张海藩.软件工程导论(第5版)[M].北京:清华大学出版社.2012.
    [124] Grady Booch, James Rumbaugh.邵维忠,麻志毅译. UML用户指南[M].北京:机械工业出版社,2001.
    [125] Grady Booch, James Rumbaugh.姚淑珍,唐发根译. UML参考手册[M].北京:机械工业出版社,2001.
    [126]吴健,郑潮,汪杰著. UML基础与Rose建模案例[M].北京:人民邮电出版社,2007.
    [127]王克俊.基于多信息融合的苹果智能分级技术研究[D].甘肃:兰州交通大学硕士研究生学位论文.2009.
    [128]闪四清,邵明珠. SQL Server2008数据库应用实用教程[M].北京:清华大学出版社,2010.
    [129] Scott Cameron. SQL Server2008分析服务从入门到精通[M].北京:清华大学出版社,2010.
    [130]刘奎,付青,张权. SQL Server2008从入门到精通[M].北京:化学工业出版社,2009.
    [131]王向云,王嵘,张琨. SQL从入门到精通[M].北京:电子工业出版社,2009.
    [132] Kevin E. Kline, Daniel Kline, Brand Hunt. SQL技术手册[M].北京:电子工业出版社,2009.
    [133]吴国江,陈艳华,王丽君.一种水果保鲜乳化蜡的研制[J].当代化工.2012,41(5):460~461.

© 2004-2018 中国地质图书馆版权所有 京ICP备05064691号 京公网安备11010802017129号

地址:北京市海淀区学院路29号 邮编:100083

电话:办公室:(+86 10)66554848;文献借阅、咨询服务、科技查新:66554700