白芦笋采收机器人视觉定位与采收路径优化方法

李扬; 张萍; 苑进; 刘雪美

doi:10.12133/j.smartag.2020.2.4.202009-SA003

PDF(3495 KB)

智慧农业（中英文） ›› 2020, Vol. 2 ›› Issue (4) : 65-78. DOI: 10.12133/j.smartag.2020.2.4.202009-SA003

专刊--农业机器人与智能装备

白芦笋采收机器人视觉定位与采收路径优化方法

作者信息 +

Visual Positioning and Harvesting Path Optimization of White Asparagus Harvesting Robot

Author information +

History +

本文亮点

依据笋芽出土状态的选择性收获是目前白芦笋公认的最佳收获方式。针对采收过程中机器视觉识别笋尖存在笋尖与垄面纹理和颜色相近等识别难题，本研究提出了一种变尺度感兴趣区域（ROI）检测方法，融合图像色域变换、直方图均值化、形态学和纹理滤波等技术，研究了笋尖识别与精准定位方法；在定位多笋尖坐标基础上，提出了多笋芽的采收路径优化方法，解决了因采收路径不合理导致的采收效率低的问题。首先，通过机器人视觉系统实时采集采收区域图像并进行RGB三通道高斯滤波，采用HSV色域变换并进行直方图均值化处理。在此基础上，对笋尖、土壤进行特征聚类分析，根据笋芽抽发程度研究变尺度ROI检测方法，对采集图像中笋尖的形态学以及笋尖和土壤的纹理进行统计学分析，设定笋尖的似圆度阈值，并参考纹理特征参数，判定笋尖位置，计算其几何中心，获得笋尖轮廓中心坐标。其次，为实现白芦笋的高效采收，根据多目标点与集箱点的位置分布，本研究设计了一种基于多叉树遍历的采收路径优化算法，以获得多个目标笋尖的最优采收路径。最后，搭建采收机器人试验平台开展了笋尖定位与采收验证性试验。结果表明，视觉系统对白芦笋的识别率可达98.04%，笋尖轮廓中心坐标的定位最大误差X方向为0.879 mm，Y方向为0.882 mm，采收笋的个数在不同情况下，采用路径优化后的末端执行器运动距离平均可节省43.89%，末端执行器定位成功率达到100%，在实验室环境下的白芦笋采收率达到88.13%，验证了采用视觉定位的白芦笋采收机器人选择性采收的可行性。

HeighLight

For white asparagus selective harvesting is the best harvesting method determined by its growth characteristics. Focusing on the difficulties that the texture and the color of shoot tips are similar with ridge surface under machine vision, the recognition method of asparagus shoots and precise positioning were studied in this research. A changeable scale ROI detection method was proposed, with the fusion of color transformation, histogram averaging, morphology and texture filtering. After that, a harvesting path optimization method of multiple asparaguses was proposed, which solved the problem of harvesting efficiency reduction caused by unreasonable harvesting paths. Firstly, real-time acquisition of the image and individual RGB channel Gaussian filtering were implemented. Based on the HSV color transformation and histogram averaging processing, the asparagus shoot and soil feature clustering analysis were carried out. According to the sprout degrees of asparaguses, the changeable scale ROI detection method was studied. The morphology and the texture of the shoot, and soil were statistically analyzed. According to the texture feature parameters, the position of shoot was determined and its geometric center was calculated. Secondly, in order to improve harvesting efficiency, a path optimization algorithm based on multiple asparaguses was designed according to the locations of the asparaguses and the bins to obtain the optimal harvesting path. Finally, in order to verify the reliability of the proposed methods, asparagus shoot location and harvest verification tests were carried out on the established harvesting test platform. The results showed that the recognition rate of white asparagus in the visual system was more than 98.04%, the maximum positioning error of the center coordinate of the white asparagus shoot was 0.879 mm in X direction and 0.882 mm in Y direction, and the average reduction of end-effector motion distance could be 43.89% after path optimization under different circumstances, the success rate of end-effector localization was 100% and the harvest rate of white asparagus in the laboratory test was 88.13%. The research verified the feasibility of the visual positioning and harvesting path optimization of the white asparagus selective harvesting robot.

导出引用

李扬 , 张萍 , 苑进 , 刘雪美. 白芦笋采收机器人视觉定位与采收路径优化方法. 智慧农业. 2020, 2(4): 65-78 https://doi.org/10.12133/j.smartag.2020.2.4.202009-SA003

Yang LI , Ping ZHANG , Jin YUAN , Xuemei LIU. Visual Positioning and Harvesting Path Optimization of White Asparagus Harvesting Robot. Smart Agriculture. 2020, 2(4): 65-78 https://doi.org/10.12133/j.smartag.2020.2.4.202009-SA003

1 引言

白芦笋系百合科多年生草本植物，富含多种氨基酸、蛋白质和维生素，质地白嫩、清脆可口、具有独特芳香风味，深受消费者的青睐^［1］，在国际市场上享有“蔬菜之王”的美称。白芦笋为一次栽植多年采收植物，依据笋芽出土状态选择性收获是白芦笋目前公认的最佳收获方式^［2,3］，这主要是由白芦笋采收方式的特殊性决定的。即笋芽生长于地下，嫩茎由下自上先后抽发，笋尖达到垄面位置即视为可收获状态，因此芦笋成熟时间不一，一次性收割不利于成笋率和产量生成。另一方面，笋芽破土后需及时采收，否则笋尖见光易变紫，商品品相变差，影响商品价格。因此，白芦笋适宜采收时间短，对采收效率有较高要求。

白芦笋选择性采收特性增加了采收成本。目前白芦笋仍以人工采收为主，因此白芦笋这种劳动密集型产业只能向人工成本低的生产区域转移。国外针对白芦笋机械化和自动化采收进行了各种方案的尝试，法国Firma Kirpy公司生产了名为Type RGA的批量收获机，该收获机由拖拉机牵引，不加区分地从笋根底部一次性切断，然后分离土壤和白芦笋，这种收获方式造成商品笋的成笋率大大降低，并对白芦笋根部有损伤^［2］。德国ASM Dimantec公司生产了名为Spargel-Panther的半自动辅助采收机，辅助采收人员进行选择性采收，减轻采收劳动强度，但并未实现真正意义上的采收自动化^［2-5］。在白芦笋选择性收获方面，荷兰Cerescon和AvL Motion公司正在开展自动化采收研发，但技术尚未成熟，预期产品价格昂贵且目前未投放市场^［6］。

中国白芦笋种植面积和产量均位居世界第一。据统计，2014年中国芦笋收获面积约100,000 hm²，产量占世界总产量的50%左右。随着中国人工成本增加，白芦笋生产也遇到了产业发展瓶颈，解决困难的最佳途径是研发白芦笋选择性采收机器人技术^［6,7］。白芦笋选择性采收机器人首先要解决的是采收区域中多个出土笋芽的准确识别和精准定位问题。机器视觉作为非接触式目标信息采集的主要途径^［8-10］，理论上可以用于出土笋芽的识别与定位。但由于笋芽出土情况不一，甚至有新发笋芽只有部分笋尖露于土面，且出土后尺寸有大有小，尖头往往粘有浮土，笋尖与垄面纹理和颜色相近，色差小、对比度低，使白芦笋的识别与定位困难。此外，垄面有大颗粒土块、枯叶、树枝等杂物富含复杂噪声的背景信息，也为笋芽识别定位增加了难度。

本研究针对上述难点，开展此类近似土壤噪声背景中的白芦笋机器视觉识别方法研究，对图像各通道的敏感度进行分析，并通过形态学滤波和基于变化感兴趣区域（Region of Interest，ROI）方法实现笋尖轮廓提取，进而获得笋尖中心坐标。在定位多笋尖坐标后，研究一种多笋芽目标的采收路径优化算法，获得最优采收路径，以实现白芦笋高效采收。最后，基于前期研制的白芦笋视觉定位与采收试验台，对本研究提出的笋芽识别、定位与采收路径优化方法进行了试验验证。

2 机器视觉系统及笋芽定位算法

2.1　机器视觉系统构成

采收机器人采用“走—采—走”的间歇移动方式工作，系统启动后自主行走至待采区域并停车，将当前采收区内的白芦笋完全采收后，再移动至下一个采收区重复采收过程。进行采收作业时，机器人通过机器视觉系统对采收区域内出土的白芦笋进行识别，根据白芦笋种植农艺和人工采收特点，机器人在垄间的相对位置如图1所示。其中，地上起垄高度为40~50 cm，相机成像平面到采收区域平面的垂直距离为120 cm，考虑到垄面与垄沟的机械化起垄装置的工作特点，采收过程中机架沿垄直线行走时，垄面与垄沟垂直距离相对固定，因此认为相机和末端执行器距离采收平面（垄面）的垂直高度变化范围很小，又因白芦笋采收长度一般在25~30 cm左右，纵向采收定位误差一般在厘米级，几乎不会对切割后的白芦笋造成影响，均可满足误差要求，因此认为每次作业时相机到采收面的高度保持不变，即相机成像平面到采收区域平面的垂直距离约为常数120 cm。

图 1 笋芽与垄面相对位置示意图

Fig. 1 Relative position schematic between white asparagus sprouts and ridge surface

Full size|PPT slide

机器视觉系统主要由图像采集模块、图像处理模块与数据传输模块组成。机器人实时采集采收区域图像，对图像进行处理，通过定位算法获取笋尖轮廓中心点坐标，并将坐标信息进行转换传输至STM32控制器。

图像采集模块由工业相机、镜头和LED光源组成。相机采用德国Basler公司生产的型号为acA2500-14gc的CMOS工业相机，最高分辨率为2590×1942像素，镜头为COMPUTAR工业相机镜头，型号为M0814-MP2。采收机器人工作时，变化的自然光照条件会极大地干扰系统工作，为保证采收机器人可靠地工作，图像采集区域由遮光布进行覆盖，并在机架上固定WD9218-1型LED条形光源，安装方式为环顶安装，以构造结构性光环境。LED光源价格低，效果较好，可以使笋尖与土壤背景信息更好地分离，降低了图像处理的算法难度。

2.2　系统工作原理

机器人工作时，当上位机接收到拍摄指令后，机器视觉系统采集采收区域中的单帧图像并保存，经过图像处理后，若有笋尖信息，则将笋尖中心点进行坐标变换发送给下位机，当全部坐标信息发送完成后，发送指令到下位机控制整机进入新的采收区域，收到指令后继续进行图像采集工作。本研究设计的白芦笋定位和采收过程如图2所示，在相机内部参数标定基础上，通过摄像头获取30 f/s的视频流，针对视频流中的图像帧进行色彩变换等预处理，并在笋尖、土壤图像特征聚类分析基础上，实现含笋图像的快速筛选，之后研究变尺度ROI特征分析，对笋尖进行实时精准定位，进而通过优化多个白芦笋的采收路径，实现了多个白芦笋采收顺序的决策，最终驱动采收机构实现多个白芦笋的采收工作。

图2 白芦笋机器人采收流程

Fig. 2 Harvesting process of white asparagus robot

Full size|PPT slide

2.3　畸变矫正

图像采集前需要对相机进行标定来获得相机的内外参数及畸变参数。由相机畸变模型可知，相机内参决定了图像的畸变程度，外参数把图像间的像素关系转换为具体物理单位，反映了相机相对于世界坐标的旋转平移关系。本研究采用张正友的平面标定模型，借助MATLAB的Camera Calibrator工具箱完成相机标定^［11］。基于相机标定结果获得已知像素与其世界坐标的映射关系，对畸变图像进行变换缩放，生成消除透视畸变和镜头畸变的矫正图像。矫正前使用工业相机以不同角度拍摄20幅标定图像（图3），利用MATLAB的相机标定工具箱检测标定板图像中的角点，由提取的角点可以计算出每幅图像的平面投影矩阵，通过投影矩阵计算出相机的参数进行重投影误差检测。

图3 图像标定与角点检测

Fig. 3 Image calibration and corner detection

Full size|PPT slide

相机标定后的重投影误差为0.4818个像素值，校正后的图像与原图像对比后发现，图像中心位置畸变并不明显，越靠近图像边缘处的图像畸变程度越大。通过标定流程，可得到相机的内参矩阵和畸变矩阵，以及相机坐标系相对于上图世界坐标系的旋转矩阵和平移向量，得到相机内参矩阵 Q ₁为：

Q_{1} = [\begin{matrix} f_{x} & s & u_{0} \\ 0 & f_{y} & v_{0} \\ 0 & 0 & 1 \end{matrix}] = [\begin{matrix} 3648.7 & 0 & 825.04 \\ 0 & 3647.5 & 929.59 \\ 0 & 0 & 1 \end{matrix}]

（1）

相机畸变矩阵 P为：

P = [k_{0} k_{1} k_{2} p_{1} p_{2}]

= [\begin{matrix} - 0.0042 & - 0.0017 & - 0.1203 & 0.1258 & 0.0002 \end{matrix}]

（2）

其中，f_x，f_y为焦距f 在x，y方向上的值；u ₀，v ₀为主点坐标值；k ₀，k ₁，k ₂为径向畸变系数；p ₁，p ₂为切向畸变系数。

2.4　图像采集及预处理

本研究所有取样图像拍摄于山东曹县某白芦笋种植基地采集，拍摄时间为2019年4月中下旬至5月上旬，拍摄时间段为早上5:00~7:00和晚上6:00~8:00，拍摄时气温20~32 ℃，共拍摄3000余张。工业相机曝光模式采用自动曝光，考虑垄面起伏，拍摄距离为115~125 cm不等，拍摄角度与垄面平行，最高分辨率下采集图像的像素约为500万。为适应不同天气和光照条件下白芦笋采收需求，拍摄样张涵盖清晨、傍晚、晴天、雨后等多种时间和天气场景（图4）。后期多次采用双线性插值方法进行图像的行列缩放，将图片调整至约47万像素（790×590），可节省图像的处理时间，提高算法的实用性。

图4 不同时间和天气情景中的白芦笋尖照片

Fig. 4 Photos of white asparagus shoots in different scenes of different time and weather

Full size|PPT slide

颜色空间变换是数字图像处理的重要手段之一，其中HSV是图像处理领域常用的颜色空间^［12-16］，通过HSV颜色空间变换能够获取图像的色调、饱和度和亮度信息。经过不断尝试，发现所摄图像经过HSV颜色空间转换，并对转换后图像进行直方图均衡化后，变换回RGB空间的图片中，露土笋尖中心基本保持白色，纹理保留完整，且笋尖出现较为明显的红边和紫边现象，在不同土壤背景中都具有较高的区分度（图5）。这种现象是由于笋尖本身表面光洁并呈乳白色，即使出土后粘附浮土，与垄面土壤相比仍然具有较高的饱和度和亮度。截取笋尖和垄面土壤进行局部处理并做HSV分量的直方图分析，可以明显看到笋尖中亮度分量的V分量偏高，可以作为区分笋尖和土壤的显著特征（图6）。经过直方图均衡化处理后，这一部分信息得到增强。对照图4（c）和图5（c）可以发现，原始照片中难以分辨的笋尖在色彩变换后显得十分突出，辨识性得到很大提升。因此，可以将该区域及其邻域作为笋芽图像辨识的ROI区域。

图5 HSV直方图均值化后的笋尖图片

Fig. 5 Images of white asparagus shoots after HSV histogram averaging

Full size|PPT slide

图6 笋尖和土壤对比分析

Fig. 6 Comparative analysis of asparagus shoot and soil

Full size|PPT slide

2.5　笋尖图像特征聚类分析

笋尖实时定位需要解决两个问题：一是快速判断当前拍摄的图像中是否包含笋尖，二是包含的笋尖具体在图像中什么位置，即采收系统既要响应快速，又要定位准确。K均值聚类算法作为一种无监督学习算法，被频繁地应用于数据挖掘和统计数据分析等数据相关领域^［11,12］。该算法的原理是：针对数据集中的不同数据对象距离进行计算，找出相邻的数据对象，构成集合，对数据集中取出的新个体，寻找最小距离的数据对象，之后重复步骤直至所得的集合数据对象数目超出设定阈值计算结束，集合所得的数据对象；重复上述步骤，直到得到k个初始聚类中心。在本研究中，通过合理选择图像的特征向量，对图像进行K均值聚类分析，可以实现图像序列的快速分类，从而判定当前图像是否包含笋尖。可以看到，HSV直方图均值化后笋尖区域在1.0附近V分量的分布明显较土壤区域更为集中（图6（e）和图6（f）），有明显的频谱特征，有利于目标提取。对于白芦笋图像采集系统获取的全部图像，进行HSV直方图均值化预处理，将其V分量以0.05为单位进行区间分割，构成拥有20个分量的特征向量

x_{i}

，并定义区间上像素统计数大于100的为1，其余为0。

在全部采集的图像中随机选取含笋尖和不含笋尖的各200张，分为2组进行聚类分析。本研究K均值算法中，距离测定函数采用两个特征向量的汉明距离计算公式为：

d (x, y) = \sum x [i] \oplus y [i]

（3）

其中，

\oplus

为异或，取收敛公式为：

E = \sum_{k = 1}^{K} \sum_{i = 1}^{N_{k}} {‖x_{i} - m_{k}‖}^{2}

（4）

其中，K为图片集划分聚类个数，K=2；N_k为第k个聚类的数据个数；m_k为每一聚类的均值。

鉴于K均值聚类算法效率较高，通过试验图像集进行聚类分析后，可以作为视觉系统图像流实时分类的依据，从而快速确定图像中是否包含笋尖。在原图像集中选取不同的子集作为训练集和测试集，最终获得99%以上的召回率，证明绝大多数笋尖都可以被识别，从而避免漏采，但若要获得更准确的笋尖位置信息，需要设计更为精准的笋尖定位方法。

2.6　变尺度ROI的笋尖定位方法

ROI技术允许从图像中选择一个关键部分，进一步减少处理的数据量，提高系统的响应速度^［13,14］。但由于白芦笋抽发长度不一，位置各不相同，在俯视拍摄角度下，笋尖出土的大小差异明显，无法固定ROI的位置和面积。为进一步实现笋尖快速精确定位，本研究提出了变尺度动态ROI区域判别的方法。通过编写批处理脚本对采集的3000余张图片进行预处理，分析并提取预处理后图片集的笋尖色彩信息后发现，笋尖的色域一般集中在R通道范围

Θ_{R}

=（170~255），G通道范围

Θ_{G}

=（50~70）

⋃

（220~255），B通道范围

Θ_{B}

=（220~255）内。定义

Θ = Θ_{R} ⋃ Θ_{G} ⋃ Θ_{B}

为笋尖色彩所属的色域范围，变尺度动态ROI区域的确定方法如下。

（1）考虑到露出土壤的笋尖具有一定面积，经对照片集统计，取笋尖轮廓面积

S_{y}

的阈值为144像素，以正方形计算区域边界

L_{y}

为12像素，对图像进行三通道高斯滤波，取图像中点

I (x, y)

，判断该点RGB通道值是否属于集合

Θ

，若属于执行步骤（2），若不属于，以固定步长L_y/2搜索图中下一点；

（2）初始化ROI宽度

ς

= L_y/2，划定ROI区域为以

I (x, y)

为角点的正方形区域

U

，其顶点分别为

I (x, y)

、

I (x + ς, y)

、

I (x, y + ς)

和

I (x + ς, y + ς)

，统计区域

U

内颜色属于集合

Θ

的点数，记为

λ_{s}

，并计算其在

U

内的占比，记为

λ_{%} = λ_{s} / ς^{2}

，通过在图像集随机采样并进行笋尖区域的像素特征分析和统计，得到

λ_{%}

的区间范围约为85%~100%；

（3）给定

λ_{%}

的阈值

λ_{%}^{t}

为85%，令

ς

ς

Δ

，

{Δ = L_{y} / 2}^{κ}

，其中，

κ

为步骤（3）的迭代次数，且

κ \geq 0

，

Δ \geq 1

，并计算相邻两次迭代的

λ_{%}

变化梯度

\nabla_{λ_{%}} = λ_{%}^{ς + 1} / λ_{%}^{ς}

，若

\nabla_{λ_{%}}

持续大于1且大于给定阈值，则重复步骤（3），直到

\nabla_{λ_{%}}

持续小于1且小于给定阈值，记此时

\sum ς

为

ς_{o}

；

（4）确定以

I (x, y)

、

I (x + ς_{o}, y)

、

I (x, y + ς_{o})

和

I (x + ς_{o}, y + ς_{o})

为顶点的区域为一个ROI，并将其记录到队列

S_{R O I}

，令

I (x, y) = I (x + ς_{o}, y)

，回到步骤（1）直到搜索完整幅图片，算法结束。整个算法流程图如图7所示。

图7 ROI区域判别流程图

Fig. 7 Flow chart of ROI region recognition

Full size|PPT slide

确定ROI区域后需要判别是否包含笋尖并进行中心定位，以便后续机械化采收。判别方法采用纹理和形态学相结合的方式进行。考虑到笋尖区域具有一定圆度，取一定数量的笋尖图像计算其圆度值，计算公式为：

C = \frac{4 π \times S}{L^{2}}

（5）

绘制笋尖圆度分布曲线如图8所示，可以看到，笋尖圆度主要集中在0.7~1.0之间，为了尽量避免笋尖漏检，取圆度检测阈值为0.7，通过对圆度进行检测，可以将小于该阈值的轮廓剔除。

图8 笋尖圆度分析结果

Fig. 8 Analysis of asparagus shoot tip roundness

Full size|PPT slide

此外，考虑到笋尖与土壤在纹理上有一定的纹理区别，选取其四个相关度低的特征值作为纹理特征参数进行处理，分别为角二阶矩（Asm）、对比度（Con）、逆方差（Idm）和熵（Ent），计算公式分别如公式（6）~（9）所示。

A s m = \sum_{x = 0}^{ς_{o} - 1} \sum_{y = 0}^{ς_{o} - 1} I^{2} (x, y)

（6）

C o n = \sum_{x = 0}^{ς_{o} - 1} \sum_{y = 0}^{ς_{o} - 1} {(x - y)}^{2} I (x, y)

（7）

I d m = \sum_{x = 0}^{ς_{o} - 1} \sum_{y = 0}^{ς_{o} - 1} \frac{I (x, y)}{1 + {(x - y)}^{2}}

（8）

E n t = - \sum_{x = 0}^{ς_{o} - 1} \sum_{y = 0}^{ς_{o} - 1} l o g I (x, y)

（9）

对抽选的50张典型笋尖和纹理进行特征参数计算，结果如表1所示。可以看到笋尖和土壤的对比度差异明显，熵值有一定差异，角二阶矩和逆方差几乎无法区分。因此，纹理参数只以对比度和熵值作为区分笋尖和土壤的参考，并在ROI中的笋尖判别过程中设置较低权重为0.3，而圆度检测权重为0.7。

表1 纹理特征参数

Table 1 Values of contour feature parameter

轮廓	角二阶矩	对比度	逆方差	熵值
笋尖1	0.0026	264.4774	0.0962	5.8752
笋尖2	0.0027	277.4274	0.1096	6.8876
笋尖3	0.0027	272.9574	0.0957	5.6221
土壤1	0.0030	96.0799	0.1050	7.1659
土壤2	0.0029	112.6050	0.1277	7.5514
土壤3	0.0028	104.6475	0.1059	7.3902

经过图像滤波、ROI判定、圆度检测和纹理对比后，试验证明图像中的笋尖能够以98%以上的概率被识别（见4.2节）。进一步对识别图像进行二值化处理，并计算其几何中心，从而定位笋尖的具体位置，为白芦笋采收提供数据支持。整个图像处理过程如图9所示。经过测试，算法的平均召回率和平均准确率分别为87.6％和95.1％。结果表明，算法的快速识别较好，在保证识别精度的同时，简化了图像处理过程，加快了白芦笋识别速度，能够应用于户外白芦笋笋尖和土壤信息的准确提取。

图9 白芦笋尖定位过程

Fig. 9 Positioning process of white asparagus tip

Full size|PPT slide

3 多笋尖采收路径优化

3.1　采收路径分析

通过机器视觉定位笋尖位置为自动化采收白芦笋奠定了基础。由于笋尖抽发的随机性，采收区域内不可避免地会出现多个笋尖共存。为提高白芦笋的采收效率，本研究设计了一种应用于白芦笋采收过程的机器人路径优化算法。根据白芦笋采收机器人的整机结构，设计的末端执行器的白芦笋采收路径为：末端执行器从初始点O出发，可选择A、B、C中的任意一个白芦笋进行采收，可以选择沿X轴丝杠向左或向右运动到两侧的集箱点进行白芦笋的放置，进而以当前集箱点为初始点根据上述规则完成其余白笋的收获。考虑采收区域内有3个待采白芦笋，则白芦笋的采收路径示意图如图10红线所示。

图10 3个白芦笋采收路径示意图

Fig. 10 Schematic of three white asparagus harvesting paths

Full size|PPT slide

其中O点表示末端执行器开始工作时的初始点，A、B、C表示白芦笋的位置，A1、A2表示采完A点白芦笋后的集箱点，B1、B2表示采完B点白芦笋后的集箱点，C1、C2表示采完C点白芦笋后的集箱点，N点为采收区域的边界点，其横纵坐标值对应采收区域横向和纵向的最大边界长度。

3.2　路径规划决策树构建

在本研究构建的采收系统中，图像采集和白芦笋采收区域为100 cm×80 cm的长方形。由于白芦笋的生长特性决定了每日早晚需要对其及时采收，因此每次采收时采收区内新抽发的笋尖并不多。通过对采集的图片集进行统计，发现由于采收及时，采收区内抽发的笋尖数量通常只有4~5个。假设采收区域有N<8个白芦笋，根据采收流程完成所有白芦笋的采收共有N!×2 ^N条路径可供选择。以区域内有3个白芦笋为例，共有48种不同采收路径，可以建出如图11所示的路径规划决策树。

图11 以3个白芦笋为例的路径规划决策树

Fig. 11 Path planning decision tree with three white asparagus as examples

Full size|PPT slide

3.3　全局最优路径规划算法

根据路径规划决策树设计一种最优路径规划算法，通过遍历全部路径求得末端执行器运动过程中的距离最短路径^［15］。

如图11红色路线所示，此路径为一条采收路径，其中

O (x_{o}, y_{o})

为采收起始点，

A (x_{a}, y_{a})

、

B (x_{b}, y_{b})

、

C (x_{c}, y_{c})

为采收点，

A_{1} (x_{a}, 0)

、

B_{1} (x_{b}, 0)

、

C_{1} (x_{c}, 0)

为集箱点，

N (x_{m a x}, y_{m a x})

为采收区域的最大边界点，则分段路径距离的计算公式如（10~15）所示：

d_{1} = \sqrt[]{{(x_{b} - x_{o})}^{2} - {(y_{b} - y_{o})}^{2}}

（10）

d_{2} = y_{b}

（11）

d_{3} = \sqrt[]{{(x_{c} - x_{b})}^{2} - {(y_{c})}^{2}}

（12）

d_{4} = y_{m a x} - y_{c}

（13）

d_{5} = \sqrt[]{{(x_{a} - x_{c})}^{2} - {(y_{m a x} - y_{a})}^{2}}

（14）

d_{6} = y_{m a x} - y_{a}

（15）

路径总距离的计算公式为：

d = \sum_{i = 1}^{6} d_{i}

（16）

此路径是一条备选路径，为了得到最优路径，对图11所示的路径规划决策树中的所有可行路径进行遍历，选择距离最短路径为最优路径。

4 试验与结果分析

4.1　试验平台搭建

根据白芦笋的种植、采收方式及视觉要求搭建能够沿垄行走并进行视觉采集与定位的白芦笋选择性采收试验台，主要由机器视觉系统、采收执行子系统、自走子系统及其控制系统组成^［16,17］，如图12所示。

图12 白芦笋采收试验平台

Fig. 12 White asparagus harvesting test platform

Full size|PPT slide

4.2　白芦笋识别准确率试验

通过对不同土壤背景下的白芦笋进行识别可以验证图像识别算法的有效性。经多次实地试验发现在一次拍摄的视角范围内，白芦笋的个数一般不超过5个。考虑到白芦笋的生长位置具有随机性，从户外已拍摄图像集中选取6组，每组20幅图像，各包含0~5个笋尖进行识别准确率试验，识别结果如表2所示。其中误识别数表示算法将本组图像中无笋位置识别为芦笋，漏识别数表示算法未能将本组图像中的笋尖正确识别，准确率表示误识别数与漏识别数之和与含笋总数的比值。

表2 白芦笋识别试验数据

Table 2 Identification test data of white asparagus

组号	相张数/张	含笋数/个	误识别数/个	漏识别数/个	准确率/%
平均准确率/%					98.04
1	20	0	1	0	——
2	20	1	0	0	100.00
3	20	2	0	0	100.00
4	20	3	0	2	96.70
5	20	4	0	2	97.50
6	20	5	0	4	96.00

受背景中疑似干扰目标及图像操作阈值选择的影响，会存在白芦笋不能识别的情况。通过对表2数据分析可知，在图片含笋情况下，白芦笋总体识别准确率约达98.04%，准确性较高。

4.3　白芦笋图像坐标定位精度试验

当机器视觉系统识别到白芦笋后，根据上文中研究的白芦笋定位算法获得白芦笋所在轮廓的中心坐标。由于经过图像处理操作后提取的轮廓中心点像素坐标与实际笋尖像素坐标可能存在误差，因此，本研究对白芦笋坐标定位精度进行了试验验证。图像坐标定位数据如表3所示，其中X、Y方向的定位误差为本研究算法定位结果与轮廓几何中心坐标理论计算值之间的误差。由于经过形态学处理后的轮廓边缘受到一定程度的破坏，导致图像坐标定位过程产生误差。图像坐标定位数据如表3所示，经分析，可以得到X方向和Y方向最大误差均为3个像素。

表3 机器视觉系统识别白芦笋图像坐标定位数据

Table 3 Image coordinate positioning data of white asparagus with machine vision recognization system

编号	笋尖像素坐标	轮廓中心像素坐标	X方向像素误差	Y方向像素误差
1	(435, 635)	(434, 637)	-1	2
2	(857, 379)	(860, 382)	3	3
3	(392, 127)	(390, 129)	-2	2
4	(337, 595)	(339, 598)	2	3
5	(760, 342)	(761, 345)	1	3
6	(456, 83)	(456, 84)	0	1
7	(652, 323)	(651, 325)	-1	2
8	(738, 632)	(736, 630)	-2	-2
9	(532, 685)	(533, 687)	1	2

设已知采收区域中笋尖所在世界坐标系中的坐标为（X_w， Y_w， Z_w），经过相机拍摄得到在图片上的像素坐标为（u， v）。假设在图像坐标系中的坐标为（x， y），在相机坐标系中的坐标为（X_c， Y_c， Z_c），通过相机透射投影模型和针孔成像模型，可得到像素坐标系与世界坐标系之间的关系为：

Z_{c} [\begin{matrix} u \\ v \\ 1 \end{matrix}] = Q_{1} Q_{2} [\begin{matrix} X_{w} \\ Y_{w} \\ Z_{w} \\ 1 \end{matrix}]

（17）

其中， Q ₁、 Q ₂分别为相机的内参矩阵和外参矩阵。

根据前期对视觉系统像素值与物理长度进行尺寸标定，得到X方向0.294 mm/pix，Y方向0.294 mm/pix，转换为物理距离可得X方向最大误差为0.879 mm，Y方向最大误差为0.882 mm，因此，定位误差满足系统定位要求（精度≤2 mm）。

4.4　采收路径优化结果分析

系统设计X方向最大移动距离为80 cm，Y方向最大移动距离为100 cm，取初始点O坐标为（0，0），三个白芦笋A、B、C的坐标分别为（20，25）、（60，80）、（70，18）（单位：cm），则根据路径距离计算公式可以得到48条采收路径中的最短距离_{$d_{m i n}$ 为228 cm，最大距离 $d_{m a x}$ 为480 cm。最短距离路径对应决策树中的第九条路径 $A \to A_{1} \to C \to C_{1} \to B \to B_{2}$ ，最短路径经过的顺序坐标为（20，25）、（20，0）、（70，18）、（70，0）、（60，80）、（60，100）。}

由于采收区域内白芦笋个数一般不超过5个，根据路径优化算法，当采收区域内白芦笋A、B坐标分别为（20，25）和（60，80）时，求得最短路径经过的坐标顺序为（20，25）、（20，0）、（60，80）、（60，100）；当采收区域内白芦笋A、B、C、D坐标分别为（20，25）、（50，38）、（60，80）和（70，18）时，求得最短路径经过的坐标顺序为（20，25）、（20，0）、（70，18）、（70，0）、（50，38）、（50，100）、（60，80）、（60，100）；当采收区域内白芦笋A、B、C、D、E坐标分别为（20，25）、（30，55）、（50，38）、（60，80）和（70，18）时，求得最短路径经过的坐标顺序为（20，25）、（20，0）、（50，38）、（50，0）、（70，18）、（70，0）、（30，55）、（30，100）、（60，80）、（60，100）。在路径优化的过程中，对采收区域芦笋个数不同的情况，将采收区域的照片分组获取位置坐标进行路径优化，数据如表4所示。

表4 白芦笋采收路径对比

Table 4 Comparison of the asparagus harvest paths

个数	最短路径距离/cm	最长路径距离/cm	提高效率最大值/%	提高效率均值/%
均值			53.05	43.89
2	165	325	49.23	37.06
3	206	457	54.92	48.86
4	275	615	55.28	48.11
5	357	756	52.78	41.52

通过分析表中数据，白芦笋个数为2、3、4和5时。每种情况下分别选择5种不同的采收区域，采用路径优化算法得到的最短路径距离比最长路径距离分别节省49.23%、54.92%、55.28%和52.78%，四种情况下提高效率最大值的平均值为53.05%。考虑到顺序采收过程中，路径优化前机器的实际采收路径可能是图11中的任意一条，因此，在四种情况下，采收效率平均提高37.06%、48.86%、48.11%和41.52%，平均值为43.89%，可见采用此路径优化算法能有效提高末端执行器的采收效率。

4.5　白芦笋采收率试验

试验过程先将真的白芦笋预埋入土箱，只露部分笋尖在土壤表面（图13（a））。系统启动后自动对笋尖识别定位，然后进行一体化采收。整个白芦笋采收过程分为入土、夹持与切割和拔取三个阶段，如图13所示。

图13 末端执行器采收白芦笋过程

Fig.13 Harvesting process of white asparagus by end-effector

Full size|PPT slide

本研究在实验室环境下应用该系统进行了20次白芦笋采收率试验，试验结果如表5所示。

表5 采收白芦笋试验数据 (个)

Table 5 Asparagus harvest test data

试验次数	1	2	3	4	5	6	7	8	9	10	11	12	13	14	15	16	17	18	19	20
白芦笋个数	3	2	2	4	3	2	3	5	4	3	2	3	4	2	4	3	2	2	3	3
成功采收	3	2	2	3	3	2	3	3	3	3	2	3	3	2	3	3	2	2	2	3
未采收	0	0	0	1	0	0	0	2	1	0	0	0	1	0	1	0	0	0	1	0

由于图像识别误差及采收白芦笋粗细不一，导致白芦笋不能被完全采收，试验表明，59个待采白芦笋中7个未成功采收，平均采收成功率为88.13%，后续将基于现有工作^［19,20］，通过优化夹持部件的运动控制进一步提高采收成功率。

5 结论

本研究设计了白芦笋选择性采收机器人的视觉定位与采收路径优化方法，并通过室内模拟采收试验，验证了系统的可行性。

（1）根据白芦笋的采收要求，机器视觉系统通过提取笋尖中心坐标的方法实现采收点定位，应用基于轮廓信息的图像处理方法，处理算法可靠，采取最优路径进行采收，有效提高采收效率。采收机器人通过视觉系统、采收执行系统等系统协调控制完成了白芦笋的准确定位与采收。

（2）通过室内模拟采收试验结果表明，白芦笋识别准确率达到98.04%，笋尖轮廓中心坐标的定位最大误差X方向为0.879 mm，Y方向为0.882 mm，采用路径优化后的末端执行器运动距离平均可节省43.89%，且对实验室环境下的白芦笋采收率达到88.13%，可见设计的视觉定位算法与路径优化算法具有可行性。

在今后的工作中，将开展白芦笋在凸包期的识别研究工作，并将进一步优化白芦笋采收机器人末端执行器和系统结构、工作方式和控制方法等，提高可靠性和实用化水平。

参考文献

原文顺序 | 文献年度倒序 | 文中引用次数倒序

1	鲁博. 我国芦笋产业的发展现状及发展趋势[J]. 上海蔬菜, 2018(4): 3-4, 12. LU B. Development status and development trend of asparagus industry in China[J]. Shanghai Vegetables, 2018(4): 3-4, 12 本文引用 [1]

2	苑进. 选择性收获机器人技术研究进展与分析[J].农业机械学报, 2020, 52(9): 1-17. YUAN J. Research progress analysis of robotics selective harvesting technologies[J]. Transactions of the CSAM, 2020, 52(9): 1-17. 本文引用 [3]

3	DONG F, HEINEMANN W, KASPER R. Development of a row guidance system for an autonomous robot for white asparagus harvesting[J]. Computers and Electronics in Agriculture, 2011, 79(2): 216-225. 本文引用 [1]

4	ARNDT G R, RUDZIEJEWSKI R, STEWART V A. On the future of automated selective asparagus harvesting technology[J]. Computers and Electronics in Agriculture, 1997, 16: 137-145.

5	BAYLOU P, HADJ AMOR E B, MONFION N, et al. Detection and 3-D localization by stereoscopic visual sensor and its application to a robot for picking asparagus[J]. Pattern Recognition, 1984, 17(4): 377- 384. 本文引用 [1]

6	陈度, ZHANG Q, 王书茂, 等. 芦笋机械化收获技术现状与发展分析[J]. 中国农业大学学报, 2016, 21(4): 113-120. CHEN D, ZHANG Q, WANG S, et al. Current status and future solutions for asparagus mechanical harvesting[J]. Journal of China Agricultural University, 2016, 21(4): 113-120. 本文引用 [2]

7	薛忠, 宋德庆, 刘恩平, 等. 国内外芦笋种植收获机械化研究进展[J]. 中国农业科技导报, 2014, 16(2): 79-84. XUE Z, SONG D, LIU E, et al. Frontier of asparagus planting and harvesting mechanization in the world[J]. Journal of Agricultural Science and Technology, 2014, 16(2): 79-84. 本文引用 [1]

8	王侨, 陈兵旗, 寇春荣, 等. 基于机器视觉的玉米种粒定向定位摆放装置研制[J].农业工程学报, 2017, 33(11): 19-28. WANG Q, CHEN B, KOU C, et al. Development of corn grain directional positioning device based on machine vision[J]. Transactions of the CSAE, 2017, 33(11): 19-28. 本文引用 [1]

9	李文采, 李家鹏, 田寒友, 等. 基于RGB颜色空间的冷冻猪肉储藏时间机器视觉判定[J]. 农业工程学报, 2019, 35(3): 294-300. LI W, LI J, TIAN H, et al. Machine vision determination of frozen pork storage time based on RGB color space[J]. Transactions of the CSAE, 2019, 35(3): 294-300

10	吴薇, 王宜怀, 程曦, 等. 基于机器视觉的武夷岩茶做青程度识别研究[J]. 山西农业大学学报(自然科学版), 2019, 39(2): 86-92. WU W, WANG Y, CHENG X, et al. Study on the recognition of Wuyiyan tea based on machine vision[J]. Journal of Shanxi Agricultural University (Natural Science Edition), 2019, 39(2): 86-92 本文引用 [1]

11	冯剑锋. 基于单目视觉的环境特征提取与位姿估计算法研究[D]. 杭州: 浙江理工大学, 2018. FENG J. Research on environment feature extraction and pose estimation algorithm based on monocular vision[D]. Hangzhou: Zhejiang Sci-Tech University, 2018. 本文引用 [2]

12	刘媛媛, 王跃勇, 于海业, 等. 基于多阈值图像分割算法的秸秆覆盖率检测[J]. 农业机械学报, 2018, 49(12): 27-35, 55. LIU Y, WANG Y, YU H, et al. Stalk coverage detection based on multi-threshold image segmentation algorithm[J]. Transactions of the CSAM, 2018, 49(12): 27-35, 55. 本文引用 [2]

13	王海青, 姬长英, 顾宝兴, 等. 基于机器视觉和支持向量机的温室黄瓜识别[J]. 农业机械学报, 2012, 43(3): 163-167, 180. WANG H, JI C, GU B, et al. Greenhouse cucumber recognition based on machine vision and support vector machine[J]. Transactions of the CSAM, 2012, 43(3): 163-167, 180. 本文引用 [1]

14	陈凤萍, 齐建华. 旋转不变纹理特征在图像模式识别中应用仿真[J]. 计算机仿真, 2019, 36(2): 353-356. CHEN F, QI J. Application of rotation-invariant texture feature in image pattern recognition[J]. Computer Simulation, 2019, 36(2): 353-356. 本文引用 [1]

15	王新忠. 温室番茄收获机器人选择性收获作业信息获取与路径规划研究[D]. 镇江: 江苏大学, 2012. WANG X. Studies on information acquisition and path planning of greenhouse tomato harvesting robot with selective harvesting operation[D]. Zhenjiang: Jiangsu University, 2012. 本文引用 [1]

16	刘雪美, 杜帅, 苑进, 等. 白芦笋选择性收获机末端执行器作业分析与试验[J]. 农业机械学报, 2018, 49(4): 110-120. LIU X, DU S, YUAN J, et al. Analysis and experiment of the end-effector of white asparagus selective harvester[J]. Transactions of the CSAM, 2018, 49(4): 110-120. 本文引用 [2]

17	LI J, LIU X, ZOU L, et al. Analysis of the interaction between end-effectors, soil and asparagus during a harvesting process based on discrete element method[J]. Biosystems Engineering, 2020, 196: 127-144. 本文引用 [1]

脚注

基金

国家自然科学基金项目(51675317)

山东省重点研发计划项目(2017GNC12110)

PDF(3495 KB)

文章所在专题

智慧农业

Accesses

Citation

Detail

段落导航

本文亮点
HeighLight
关键词
Key words
引用本文
1 引言
2 机器视觉系统及笋芽定位算法
2.1　机器视觉系统构成
图 1 笋芽与垄面相对位置示意图
2.2　系统工作原理
图2 白芦笋机器人采收流程
2.3　畸变矫正
图3 图像标定与角点检测
2.4　图像采集及预处理
图4 不同时间和天气情景中的白芦笋尖照片
图5 HSV直方图均值化后的笋尖图片
图6 笋尖和土壤对比分析
2.5　笋尖图像特征聚类分析
2.6　变尺度ROI的笋尖定位方法
图7 ROI区域判别流程图
图8 笋尖圆度分析结果
表1 纹理特征参数
图9 白芦笋尖定位过程
3 多笋尖采收路径优化
3.1　采收路径分析
图10 3个白芦笋采收路径示意图
3.2　路径规划决策树构建
图11 以3个白芦笋为例的路径规划决策树
3.3　全局最优路径规划算法
4 试验与结果分析
4.1　试验平台搭建
图12 白芦笋采收试验平台
4.2　白芦笋识别准确率试验
表2 白芦笋识别试验数据
4.3　白芦笋图像坐标定位精度试验
表3 机器视觉系统识别白芦笋图像坐标定位数据
4.4　采收路径优化结果分析
表4 白芦笋采收路径对比
4.5　白芦笋采收率试验
图13 末端执行器采收白芦笋过程
表5 采收白芦笋试验数据 (个)
5 结论
参考文献
脚注
基金

Received	Revised	Published
2020-09-28	2020-10-28	2020-12-30
Issue Date
2021-02-05

模态框（Modal）标题

选择文件类型/文献管理软件名称

选择包含的内容

关于期刊

在线期刊

作者中心

本文亮点

HeighLight

关键词

Key words

引用本文

1 引 言

2 机器视觉系统及笋芽定位算法

2.1 机器视觉系统构成

图 1 笋芽与垄面相对位置示意图

2.2 系统工作原理

图2 白芦笋机器人采收流程

2.3 畸变矫正

图3 图像标定与角点检测

2.4 图像采集及预处理

图4 不同时间和天气情景中的白芦笋尖照片

图5 HSV直方图均值化后的笋尖图片

图6 笋尖和土壤对比分析

2.5 笋尖图像特征聚类分析

2.6 变尺度ROI的笋尖定位方法

图7 ROI区域判别流程图

图8 笋尖圆度分析结果

表1 纹理特征参数

图9 白芦笋尖定位过程

3 多笋尖采收路径优化

3.1 采收路径分析

图10 3个白芦笋采收路径示意图

3.2 路径规划决策树构建

图11 以3个白芦笋为例的路径规划决策树

3.3 全局最优路径规划算法

4 试验与结果分析

4.1 试验平台搭建

图12 白芦笋采收试验平台

4.2 白芦笋识别准确率试验

表2 白芦笋识别试验数据

4.3 白芦笋图像坐标定位精度试验

表3 机器视觉系统识别白芦笋图像坐标定位数据

4.4 采收路径优化结果分析

表4 白芦笋采收路径对比

4.5 白芦笋采收率试验

图13 末端执行器采收白芦笋过程

表5 采收白芦笋试验数据 (个)

5 结 论

{{custom_sec.title}}

{{custom_sec.title}}

参考文献

脚注

{{custom_fnGroup.title_cn}}

脚注

基金

1 引言

2.1　机器视觉系统构成

2.2　系统工作原理

2.3　畸变矫正

2.4　图像采集及预处理

2.5　笋尖图像特征聚类分析

2.6　变尺度ROI的笋尖定位方法

3.1　采收路径分析

3.2　路径规划决策树构建

3.3　全局最优路径规划算法

4.1　试验平台搭建

4.2　白芦笋识别准确率试验

4.3　白芦笋图像坐标定位精度试验

4.4　采收路径优化结果分析

4.5　白芦笋采收率试验

5 结论