基于OpenCV的‘翠冠’梨多角度大小检测与分级

刘现, 陈峻生, 赵宇慧

中国农学通报. 2023, 39(22): 152-157

PDF(1734 KB)
PDF(1734 KB)
中国农学通报 ›› 2023, Vol. 39 ›› Issue (22) : 152-157. DOI: 10.11924/j.issn.1000-6850.casb2023-0212
农业信息·科技教育

基于OpenCV的‘翠冠’梨多角度大小检测与分级

作者信息 +

Multi-angle Volume Detection and Grading of ‘Cuiguan’ Pear Based on OpenCV

Author information +
History +

摘要

为提高‘翠冠’梨大小检测以及分级的智能化程度与效率，基于OpenCV机器视觉技术综合多角度进行‘翠冠’梨大小检测与分级研究。在自主构建的图像采集系统试验平台上多角度采集100个‘翠冠’梨图像作为试验样本，基于图像使用Python语言结合OpenCV计算机视觉库编程求解‘翠冠’梨单角度果实大小像素值，综合多角度对果实大小像素值进行测算，参照‘翠冠’梨福建省地方标准对其进行分级并与传统的果实质量分级法进行对比来验证分级的效果。试验结果表明，基于‘翠冠’梨图像采用机器视觉技术综合多角度来进行果实大小检测与分级是一种具有一定可行性地智能化分级方法，达到了97%的分级正确率。研究结果可为基于机器视觉的翠冠梨大小分级方法提供技术参考。

Abstract

In order to improve the intelligence and efficiency of ‘Cuiguan’ pear size detection and grading, the research on ‘Cuiguan’ pear size detection and grading was conducted based on OpenCV machine vision technology from multiple perspectives. On the self-developed image acquisition system test platform, 100 images of ‘Cuiguan’ pear were collected from multiple angles as test samples. Based on the images, Python language and OpenCV computer vision library programming were used to solve the pixel values of the single angle size of ‘Cuiguan’ pear. Then the fruit size pixel values were calculated from multiple angles. To verify the effect of grading, ‘Cuiguan’ pear were graded according to the local standards of Fujian Province and compared with the traditional weight grading method. The test results show that using machine vision technology to detect and grade the fruit size from multiple angles based on the ‘Cuiguan’ pear image is an intelligent grading method with certain feasibility, reaching a grading accuracy of 97%. The research results can provide technical reference for the size grading method of ‘Cuiguan’ pear based on machine vision.

关键词

‘翠冠’梨 / 图像 / OpenCV / 分级

Key words

‘Cuiguan’ pear / image / OpenCV / grading

引用本文

EndNote

Ris (Procite)

Bibtex

导出引用
刘现 , 陈峻生 , 赵宇慧. 基于OpenCV的‘翠冠’梨多角度大小检测与分级. 中国农学通报. 2023, 39(22): 152-157 https://doi.org/10.11924/j.issn.1000-6850.casb2023-0212
LIU Xian , CHEN Junsheng , ZHAO Yuhui. Multi-angle Volume Detection and Grading of ‘Cuiguan’ Pear Based on OpenCV. Chinese Agricultural Science Bulletin. 2023, 39(22): 152-157 https://doi.org/10.11924/j.issn.1000-6850.casb2023-0212

0 引言

‘翠冠’梨属砂梨系统，是中国南方发展最快的早熟优良砂梨品种之一[1]。其果实近圆形，个大，果皮为绿色，果面光滑，果肉白色，汁液多，可溶性固形物含量达12%~13%，深受消费者的青睐[2]。
产业结构不合理、分级不严、科技含量低使得中国果业缺乏核心竞争力[3]。水果分级作为产后处理的核心过程，是实现水果标准化和商品化的一个重要的环节[4-5]。对于水果外部品质，一般按大小、表面缺陷及外观颜色等特征进行分级。传统的分级方法主要为人工分级和机械分级，人工分级存在检测主观性强、劳动力成本高且效率十分低下等问题，而机械分级易损伤目标物且分级精度需要进一步提升[6⇓-8]。大多数水果品质都可以通过RGB图像、高光谱图像等反映出其大部分特征，从而被检测与识别，因此计算机视觉技术广泛应用于水果品质自动无损检测与分级分类[9]。计算机视觉技术主要工作原理是通过计算机对水果三维模型空间进行感知，包括捕捉、图像识别及数据分析等，从而完成自动分级的全过程。它有效综合了多个学科的专业知识，具有信息量大、速度快、可对目标进行定量的测量等特点，同时还可避免人为主观因素对检测结果产生偏差，对搭建自动的检测流水线十分有利[10]。
近年来国内外不少科研人员利用机器视觉技术对水果分级进行研究。崔巍等[11]采用机器视觉技术实现了金桔大小分级。韩伟等[12]对水果图像进行分割，然后采用新的计算机算法计算水果的半径，进而得出果蔬的最大直径，结果表明，该算法不仅降低了计算量而且提高了计算精度。邓婉等[13]设计了一套基于机器视觉和PLC控制技术的水果自动分级系统。胡发焕等[14]采用数字形态学提取脐橙的体积、纹理等特征，并用支持向量机进行分类器训练，实现了实时环境下的脐橙分级。李国进等[15]对芒果进行检测分级，提出了一种基于计算机视觉和极限学习机神经网络(ELM)模型的芒果分级方法。黄辰等[16]借助机器视觉技术并采用粒子群参数优化的支持向量机对苹果的果形、果面纹理、颜色分布等特征进行模型构建与分级。刘鸿飞等[17]对温室番茄果实进行定位及裂果检测，裂果的正确判别率为97.14%，裂果判别部分平均耗时21 ms。刘忠超等[18]基于视觉监控和PLC设计了猕猴桃大小分级控制系统，平均分级速度达2.5 s/个。赵小霞等[19]基于图像处理和PLC控制技术构建了一套水果自动分级系统，系统最高精度为98%。杨小强[20]将机器视觉技术和PLC技术进行融合，设计了一套农业自动分拣装置。饶剑等[21]开发了一种基于机器视觉的类球形水果外部品质分级方法，针对脐橙总体平均识别率高达94.4%。Saad等[22]使用芒果分级装置上的视觉系统获取芒果图像，并用圆柱近似分析方法估测芒果的质量及体积。Naik等[23]基于机器视觉对水果分类与分级进行了综述。Chang等[24]基于A-TEP模型和机器视觉测量对甜瓜果实属性进行量化研究。Gongal等[25]使用3D机器视觉系统来估算苹果果实大小。Ismail等[26]基于计算机视觉和深度学习技术构建了一套水果分级实时视觉检测系统。
综上所述，国内外不少学者基于机器视觉技术对水果进行分级研究，但一般采用单一角度图像，而水果是立体的，对多个角度的研究不足。‘翠冠’梨是福建省三明市建宁县的特产，对其分级研究相当匮乏，因此笔者针对当前的研究现状，提出一种基于OpenCV的‘翠冠’梨多角度大小检测与分级的方法。在自主构建的图像采集系统试验平台上多角度采集‘翠冠’梨图像，基于图像使用Python语言结合OpenCV计算机视觉库编程求解‘翠冠’梨单角度果实大小像素值，综合多角度果实大小像素值对果实大小像素值进行测算，参照‘翠冠’梨福建省地方标准对其进行分级，并与传统的果实质量分级法进行对比，验证分级的效果，旨在提升‘翠冠’梨大小检测的智能化程度和效率。

1 材料与方法

1.1 ‘翠冠’梨图像采集

自主构建一套图像采集系统试验平台，如图1所示。平台主要包括1台吉农牌计算机分选机（型号TN-68A）、3个CCD工业相机（型号MV-SUA1600，分辨率4608 px×3456 px，镜头焦距8 mm）、笔记本计算机1台(Acer Aspire V15 T5000)、LED灯（功率128 W）、机器视觉检测光源（功率17 W）3盏等部件，图像采集组件放置于一个黑色暗箱内。试验用的‘翠冠’梨来自福建省三明市建宁县。使用上述试验平台于2022年8月完成100个‘翠冠’梨样本的图像采集。3个CCD工业相机分别可采集到‘翠冠’梨正上方、侧前方以及右侧方的图像。1个‘翠冠’梨采集3幅图像，一共获取了300幅分辨率为4608 px×3456 px的‘翠冠’梨图像。
图1 试验平台结构图
1.图像采集箱，4.反光布，31.低位照明灯，32.高位照明灯，3.照明装置，11.每组横梁，111.横移导轨，12.纵梁，120.第二螺栓，13.摄像头安装架，130.第三螺栓，14.摆架，110.第一螺栓，10.果蔬输送机构，15.支撑立柱

Full size|PPT slide

1.2 试验方法

对‘翠冠’梨的大小分级通常使用比较传统的果实质量分级法。该方法虽然简单但是存在以下弊端：（1）质量分级需要在分级流水线上嵌入一个称重模块，与流水线结构相耦合，这会增加流水线的长度和复杂度。（2）称重单元的机械结构较为复杂，维护较为困难，称重机械单元长期处在机械磨损状态下，易丧失精度要求。使用机器视觉方法基于图像估算重量从而实现果实的分级，可融合到对果实其他品质分级的模块中去，简化了设备，具有光学无接触、故障率低等优点。笔者使用机器视觉方法基于图像编程求解‘翠冠’梨单角度果实大小像素值，综合多角度对果实大小像素值进行测算，参照‘翠冠’梨福建省地方标准对其进行分级。为了验证机器视觉分级法的分级效果，选取传统的果实质量分级法与之进行对比（图2）。
图2 试验方法流程图

Full size|PPT slide

1.2.1 质量数据采集与大小等级评定

采集每一个试验样本的质量数据，使用传统的果实质量分级法进行分级。使用质量传感器进行试验样本质量数据采集，质量传感器安装在图1所示的自主构建的试验平台上的图像采集箱内正中央的果盘下方，‘翠冠’梨在传送带上向前传输的过程中，经过安装有传感器的果盘上方时，质量就被传感器采集下来，传感器与可程序化逻辑控制器(programmable logic controller，PLC)相连接，而PLC又连接着计算机，这样使用计算机从PLC中就可以读取出质量传感器采集到的‘翠冠’梨的质量数据。该方式采集质量数据具有快速以及自动化的特点。2022年8月在30℃环境温度下采集了100个福建省三明市建宁县‘翠冠’梨质量数据，采集的100个质量数据分布区间为200.34~300.61 g。从100个试验样本中随机抽取1号、12号、31号、46号、58号、62号、74号、87号、93号、100号‘翠冠’梨样本作为代表进行展示（表1）。
表1 ‘翠冠’梨样本质量
样本号 质量/g 样本号 质量/g
1 285.29 12 254.76
31 269.32 46 269.20
58 255.64 62 233.45
74 284.10 87 230.61
93 256.72 100 244.01
参照福建省地方标准[27]，依据‘翠冠’梨果实质量对试验样本进行等级评定（单果重≥250 g为特级，200 g≤单果重<250 g为一级），由于该批试验样本没有小于200 g的试验样本，故该批试验果没有二级果（表2）。
表2 ‘翠冠’梨试验样本等级评定
样本号 等级 样本号 等级
1 特级 12 特级
31 特级 46 特级
58 特级 62 一级
74 特级 87 一级
93 特级 100 一级

1.2.2 基于图像测算单角度‘翠冠’梨果实大小

基于采集到的‘翠冠’梨果实图像，在Eclipse集成开发环境下使用Python语言[28]调用OpenCV机器视觉库编程[29]，求解单角度‘翠冠’梨果实大小像素值（图3）。先把单个试验样本采集到的3张彩色图像进行颜色空间转换，转换到hsv颜色空间下面，由于‘翠冠’梨果实的色彩和背景的色彩差异很大，根据hsv颜色空间下色彩的高低阈值进行背景分割，再进行掩膜处理，将图片背景转换为单一黑色，然后灰度化，接着二值化后再去噪声，最后进行轮廓检测后计算每张图像中‘翠冠’梨的果实大小像素值。从100个试验样本随机抽取1号、12号、31号、46号、58号、62号、74号、87号、93号、100号‘翠冠’梨样本作为代表进行展示。表3分别是采集到的代表样本‘翠冠’梨图像及图像中单角度果实大小像素值。
图3 1号‘翠冠’梨果实大小测算
i.果实面积测算结果

Full size|PPT slide

表3 单角度‘翠冠’梨果实大小像素值
样本号 正上方 侧前方 右侧方 像素平均值/px
图像 像素值/px 图像 像素值/px 图像 像素值/px
1 131708 117560 123450 124239
12 120729 109281 111249 113753
31 123326 115864 121601 120264
46 124854 112934 116184 117990
58 120000 110209 115199 115136
62 111248 102478 104679 106135
74 128252 118527 123610 123463
87 103676 100421 104124 102740
93 120145 111641 117394 116393
100 109175 105057 108019 107417
表4 36号‘翠冠’梨样本果实大小像素值
方位 图像 像素值/px
正上方 118850
侧前方 108958
右侧方 109414

1.2.3 基于图像进行‘翠冠’梨大小等级的评定

在100个试验样本中，第36号‘翠冠’梨样本质量为251.32 g，最接近于特级果和一级果分级质量标准250 g，故取第36号‘翠冠’梨样本（表4）基于图像进行果实大小测算，将该样本多角度果实大小像素值的平均值112407作为依据图像划分特级果和一级果的依据。若试验样本测定出来的多角度果实大小像素值的平均值大于36号样本测定值，则判定为特级果，否则判定为一级果。

2 结果与分析

基于‘翠冠’梨图像，使用机器视觉技术，采用python编程语言求解单角度‘翠冠’梨果实大小像素值，再综合多角度求取‘翠冠’梨果实大小像素平均值。然后参照36号‘翠冠’梨样本多角度果实大小像素平均值来进行等级评定，并与福建省地方标准等级评定的结果进行对比，确定分级是否正确。
从表5的分级结果可知，随机抽取的10个样本中基于图像进行等级判定与基于果实质量进行等级判定的结果是一致的。这10个样本的分级正确率为100%，错误率为0%。对该批100个样本分别基于图像与果实质量进行等级判定，分级正确率为97%。
表5 ‘翠冠’梨分级结果
样本号 基于图像 基于果实质量 样本号 基于图像 基于果实质量
1 特级 特级 12 特级 特级
31 特级 特级 46 特级 特级
58 特级 特级 62 一级 一级
74 特级 特级 87 一级 一级
93 特级 特级 100 一级 一级

3 结论与讨论

水果的品质检测与分级分类对保障人们健康生活起到十分重要的作用，同时也可提升食品工业的经济效益[30]。由于计算机视觉技术的研究日益深入，该技术在农产品药物残留检测、水果质量分级、等级筛选、质量监管等方面有着众多应用[31]。笔者基于‘翠冠’梨图像使用Python语言结合OpenCV计算机视觉库编程求解‘翠冠’梨单角度果实大小像素值，综合多角度果实大小像素值对果实大小进行测算，参照‘翠冠’梨福建省地方标准对其进行分级，并与传统的果实质量分级法进行对比，分级的正确率为97%。
近年来机器视觉技术发展迅速，推动水果检测向智能化的方向发展[32]。有不少学者利用机器视觉技术针对水果的大小、颜色、果形、表面缺陷等特征分级检测，但是对‘翠冠’梨大小检测的研究较少。‘翠冠’梨大小分级主要还是依据质量进行等级划分，该方法的智能化程度低，亟需进一步优化。本研究结果表明，基于‘翠冠’梨图像采用机器视觉技术进行大小检测并进行分级，是一种具有一定可行性的智能化分级方法，但是误差仍然有待于进一步缩小，造成误差的原因主要是光线不够均匀，在进行图像处理时采用了灰度化、二值化等一系列方法，会造成果实图像部分缺失，这给果实大小像素值的测算造成一定程度的误差；角度不够多，角度选取的合理性也需要进一步研究。今后的研究重点主要有：（1）优化图像采集平台内的光源布局，提升采集图像的品质；（2）优化单角度果实大小像素值的测算方法；（3）进行多个角度采集，可让摄像头进行旋转，动态地对每个角度进行图像采集，从中选取最适合的测算角度。

参考文献

原文顺序 | 文献年度倒序 | 文中引用次数倒序
[1]
盛宝龙, 蔺经, 程进, 等. 套袋对翠冠梨果实外观色泽及糖、酸含量的影响[J]. 江西农业大学学报, 2010, 32(4):705-709.
本文引用 [1]
[2]
杨晓平, 胡红菊, 田瑞, 等. 翠冠梨新梢与果实生长发育动态及相关性研究[J]. 湖北农业科学, 2009, 48(12):3050-3052.
本文引用 [1]
[3]
黄秀玲, 郑加强, 赵茂程. 水果分级支撑技术的研究进展[J]. 南京林业大学学报(自然科学版), 2007, 31(2):123-126.
本文引用 [1]
[4]
MON T O, ZARAUNG N. Vision based volume estimation method for automatic mango grading system[J]. Biosystems engineering, 2020, 198(10):338-349.
https://doi.org/10.1016/j.biosystemseng.2020.08.021
https://linkinghub.elsevier.com/retrieve/pii/S1537511020302403
本文引用 [1]
[5]
李江波, 黄文倩, 张保华, 等. 类球形水果表皮颜色变化校正方法研究[J]. 农业机械学报, 2014, 45(4):226-230.
本文引用 [1]
[6]
何文斌, 魏爱云, 明五一, 等. 基于机器视觉的水果品质检测综述[J]. 计算机工程与应用, 2020, 56(11):10-16.
https://doi.org/10.3778/j.issn.1002-8331.2001-0248
本文引用 [1] 摘要
随着经济的发展和消费水平的提升，消费者对水果的外观品质要求逐渐提高。目前，我国的水果分级主要依赖于人工与机械分级，存在分拣效率低、品质参差不齐的问题，很难满足消费者的需求。相对于传统的分级技术，机器视觉技术因具有高效、精确、非接触测量的优势，受到国内外学者的广泛关注。结合近年来国内外学者研究进展情况，对水果检测系统、图像去噪、图像分割技术以及特征提取做了详细介绍；对分类器识别算法进行了综合分析；阐述了基于机器视觉的水果分级研究现状及最新进展；并对未来可能发展趋势进行预测，为后续研究工作提供基础理论参考。
[7]
GHAZAL S, QURESHI W S, KHAN U S, et al. Analysis of visual features and classifiers for fruit classification problem[J]. Computers and electronics in agriculture, 2021, 187(8):106267.
本文引用 [1]
[8]
周海英, 化春键, 方程骏. 基于机器视觉的梨表面缺陷检测方法研究[J]. 计算机与数字工程, 2013, 41(9):1492-1494.
本文引用 [1]
[9]
田有文, 吴伟, 卢时铅, 等. 深度学习在水果品质检测与分级分类中的应用[J]. 食品科学, 2021, 42(19):260-270.
本文引用 [1]
[10]
杨再雄, 吴恋, 左建, 等. 基于人工智能的农产水果分级检测技术综述[J]. 科技创新与应用, 2021(22):41-43.
本文引用 [1]
[11]
崔巍, 高珏, 朱培逸, 等. 基于机器视觉的金桔大小分级研究[J]. 常熟理工学院学报(自然科学), 2012, 26(4):87-90.
本文引用 [1]
[12]
韩伟, 曾庆山. 基于计算机视觉的水果直径检测方法的研究[J]. 中国农机化, 2011(5):25-29.
本文引用 [1]
[13]
邓婉, 高珏, 朱培逸, 等. 基于机器视觉的水果的自动分级系统的设计[J]. 农产品学刊, 2012(10):154-156.
本文引用 [1]
[14]
胡发焕, 刘国平, 胡瑢华, 等. 基于机器视觉和支持向量机的脐橙品质分级检测[J]. 北京工业大学学报, 2014(11):1615-1620.
本文引用 [1]
[15]
李国进, 董第永, 陈双. 基于计算机视觉的芒果检测与分级研究[J]. 农机化研究, 2015(10):13-18.
本文引用 [1]
[16]
黄辰, 费继友. 基于图像特征融合的苹果在线分级方法[J]. 农业工程学报, 2017, 33(1):285-291.
本文引用 [1]
[17]
刘鸿飞, 黄敏敏, 赵旭东, 等. 基于机器视觉的温室番茄裂果检测[J]. 农业工程学报, 2018, 34(14):170-176.
本文引用 [1]
[18]
刘忠超, 盖晓华. 基于机器视觉和PLC的猕猴桃分级控制系统设计[J]. 中国农机化学报, 2020, 41(6):131-135.
本文引用 [1]
[19]
赵小霞, 李志强. 基于PLC和机器视觉的水果自动分级系统研究[J]. 农机化研究, 2021(8):75-79.
本文引用 [1]
[20]
杨小强. 机器视觉与PLC融合的自动分拣装置研究[J]. 农机化研究, 2022(2):237-240.
本文引用 [1]
[21]
饶剑, 吕自玉. 基于机器视觉的类球形水果外部品质分级方法研究[J]. 农机化研究, 2022(5):63-65.
本文引用 [1]
[22]
SAAD F S A, IBRAHIM M F, SHAKAFF A Y, et al. Shape and weight grading of mangoes using visible imaging[J]. Computers and electronics in agriculture, 2015, 5(6):51-56.
本文引用 [1]
[23]
NAIK S, PATEL B. Machine vision based fruit classification and grading- A review[J]. International journal of computer applications, 2017, 170(9):27-34.
https://doi.org/10.5120/ijca2017914892
http://www.ijcaonline.org/archives/volume170/number10/sneha-2017-ijca-914892.pdf
本文引用 [1]
[24]
CHANG L Y, HE S P, LIU Q, et al. Quantifying muskmelon fruit attributes with A-TEP-based model and machine vision measurement[J]. Journal of agricultural sciences, 2018(6):1369-1379.
本文引用 [1]
[25]
GONGAL A, KARKEE M, AMATYA S. Apple fruit size estimation using a 3D machine vision system[J]. Agricultural information processing, 2018(4):498-503.
本文引用 [1]
[26]
ISMAIL N, MALIK O A. Real-time visual inspection system for grading fruits using computer vision and deep learning techniques[J]. Agricultural information processing, 2022(1):24-37.
本文引用 [1]
[27]
三明市经济作物技术推广站, 建宁县经济作物站, 宁化县经济作物站, 等. GB 35/760—2007,翠冠梨鲜果[S]. 福建: 福建省质量技术监督局, 2007:1-4.
本文引用 [1]
[28]
HETLAND Magnus Lie. Python基础教程(第三版)[M]. 北京: 人民邮电出版社, 2020:1-458.
本文引用 [1]
[29]
JOE Minichino, JOSEPH Howse. OpenCV3计算机视觉Python语言实现[M]. 北京: 机械工业出版社, 2016:1-181.
本文引用 [1]
[30]
田有文, 吴伟, 卢时铅, 等. 深度学习在水果品质检测与分级分类中的应用[J]. 食品科学, 2021, 42(19):260-268.
本文引用 [1]
[31]
张正周, 李娟, 郑旗, 等. 计算机视觉技术在农产品加工业中的应用研究进展[J]. 农业与技术, 2014, 34(1):34-36.
本文引用 [1]
[32]
刘现, 杨航, 李健翔, 等. 基于图像的金桔重量预测方法研究[J]. 中国农学通报, 2022, 38(34):138-143.
https://doi.org/10.11924/j.issn.1000-6850.casb2022-0377
本文引用 [1] 摘要
为提高金桔重量检测的智能化程度，基于图像进行金桔重量预测研究。在自主构建的图像采集系统试验平台上采集600张金桔图像，基于图像使用Python语言结合OpenCV计算机视觉库编程求解金桔果实大小像素值，根据实际重量数据使用最小二乘法、线性法、多项式法等进行数据拟合，构建基于金桔图像的重量预测模型。试验结果表明，基于金桔图像构建数学模型对金桔的重量进行预测具有一定地可行性和科学研究价值，其中线性法的预测模型方程为y=7.27&times;10<sup>-6</sup>x+23.032，多项式法的预测模型方程为y=1.199&times;10<sup>-15</sup>x<sup>3</sup>-1.082&times;10<sup>-9</sup>x<sup>2</sup>+3.053&times;10<sup>-4</sup>x-2.773，最小二乘法的预测模型方程为y=2.564&times;10-8x(-9.688&times;10-6x2+2531870.247)。

基金

福建省农业科学院自由探索科技创新项目“基于大数据的翠冠梨智能分级模型构建”(ZYTS202234)
福建省农业科学院科技创新团队 “智慧农业科技创新团队”(CXTD2021013-1)
福建省农业科学院科技创新团队“南方丘陵农情监测科技创新团队”(CXTD2021012-3)
PDF(1734 KB)

111

Accesses

0

Citation

Detail
段落导航
相关文章

/

〈 〉