葡萄采摘定位论文汇总
Far-near combined positioning of picking-point based on depth data features for horizontal-trellis cultivated grape 2022
水平棚架种植葡萄下基于深度数据特征的采摘点远近组合定位
期刊：Computers and Electronics in Agriculture 194 (2022)
摘要：对于机器人采集餐桌葡萄，通常通过抓住和切割梗，在梗上的准确定位是至关重要的。本文提出了一种基于远景和近景深度数据特征相结合的水平格子栽培葡萄采摘点精确定位的新方法。首先，提出了充分利用深度点云数据获得的葡萄群和水平格环境特征的采摘点定位远近组合策略。然后提出了满足远近组合需要的特殊“指下眼”结构，定义了决定远近组合手眼路径的远视点、近视点和选取点三个关键点。最后，基于近景深度数据直方图，建立了近景葡萄簇检测、近视点切换和采摘点定位的远近组合方法，以选择葡萄簇底部为关键线索。在近视图下挑选点定位的现场实验中，算法的平均运行时间为0.29 s，总共100个样本中只有5个未能实现准确定位。在远近联合采摘点定位的实验室实验中，采摘点精确定位的成功率达到100%。该方法有望克服传统图像处理方法中黑盒处理的不足。
附图：
上图是远近组合方案示意图，方案分为三阶段：远视位、近视点、采摘点。
如上图，选取簇底作为关键特征点用于确定近视点，确定采摘序列引导末端到近视点，根据深度最近的为第一个目标。
采摘点通过近视点捕获的深度点云进行定位，定位时每列深度相加，果梗所在位置有个峰值；每行深度数据相加，果梗和葡萄簇之间有个显著跳跃。
为减少计算量，求和直方图选择从上而下的数值比较，第一个显著跳跃为水平处分界点。
基于回归卷积神经网络的葡萄茎检测 2021
期刊：农业中的计算机和电子 186 (2021)
摘要：葡萄藤农业任务(例如收获)的自动化需要可靠的方法来检测葡萄串的准确切割点。动态变化的葡萄园环境、植物品种之间的差异、光照、遮挡、颜色相似性和变化的对比度使得在非结构化环境中检测葡萄茎很困难。在这项工作中，提出了一种图像中的葡萄茎干检测方法，旨在引入一种自主葡萄收获机器人(ARG ),作为一种负担得起的和一致的替代方案，以替代有经验的收获者耗时的专门工作。为此，应用回归卷积神经网络 (RegCNN)来执行词干分割任务。研究了由三个不同的特征学习子网络与四个元结构组合而成的十二个卷积神经网络(CNN)模型结构。第一次，茎干检测作为一个回归问题来处理，以减轻葡萄园图像中可能出现的不平衡数据现象。为了证明 RegCNN 模型的有效性，在典型分类(ClaCNN)设置中测试了相同的 CNN 架构。两个不同特征数据集的比较结果表明，回归模型优于分类模型。在后处理优化之前，用 RegCNNs 检测葡萄串茎具有高达 98.18%的交集超过联合(IU)性能。此外，通过应用基于遗传算法(g a)的参数调整机制，优化的后处理参数导致 UNET _移动网络 2模型的 IU 精度提高了高达 98.90%，同时具有可接受的实时性能。与其他类似方法相比，该方法具有更高的正确率，不受约束和高度变化的环境(如葡萄园)中的检测率，因此适用于机器人收割机执行农业任务的鲁棒实时茎识别。
附图：
采用方法学检测葡萄茎采摘点，包括三个步骤：1）计算距离图，每个像素与感兴趣的最近标志的距离2）提出的回归卷积神经网络学习预测距离图3）采用阈值处理和活动轮廓来导出细分果梗的微调版本。
模型的输入是RGB和双距离图，输出是对每个输入图像的双距离Map估计。
设定标准，按照深度信息进行排序确定果梗采摘点的优先级。
分割获得果梗区域后，使用几何矩形方法计算果梗2D质心，轮廓的四个极值点，用于提取果梗的边界。
水平向右、垂直向下分别为x、y轴的正方向，用于判断果梗是否垂直方向。A-B的中点是原点，竖直线与AB夹角为果梗的角度。
基于深度学习的葡萄果梗识别与最优采摘定位 2020
期刊：农 业 工 程 学 报
摘要：针对葡萄采摘机器人在采摘作业中受果园环境干扰，难以准确识别与分割葡萄果梗及定位采摘点的问题，该研究根据葡萄生长的特点提出一种基于深度学习的葡萄果梗识别与最优采摘定位方法。首先通过改进掩膜区域卷积神经网络（Mask Region with Convolutional Neural Network，Mask R-CNN）模型对果梗进行识别与粗分割；然后结合阈值分割思想对果梗的色调、饱和度、亮度（Hue Saturation Value，HSV）色彩空间进行分段式提取，取每段色彩平均值作为该段果梗基准颜色阈值，利用区域生长算法对果梗进行精细化分割；最后计算果梗图像区域的质心，并以临质心点最近的果梗水平两侧中心作为最终采摘点。试验结果表明，在不同天气光照下该方法对葡萄果梗的检测精确率平均值为 88%；
在果梗成功识别后最优采摘点定位准确率达 99.43%，单幅图像的果梗采摘定位平均耗时为 4.90 s，对比改进前 Mask R-CNN 检测耗时减少了 0.99 s，F1-得分提高了 3.24%，检测效率明显提升，该研究为葡萄采摘机器人提供了一种采摘点定位方法。
附图：
本研究采用深度残差网络(ResNet101)和特征金字塔网络(FPN)结合构成主干网络；区域建议网络（RPN）的工作机理是采用卷积层滑动窗口扫描特征图中的锚点框。Mask R-CNN 设置的锚点框比例为 0.5∶1∶2，但在实际检测时，葡萄果梗的长宽比常为 2.5∶1 和 5∶1，过小比例的锚点框无法完全覆盖葡萄果梗，为此，本研究设置的锚点框比例为 1∶2.5∶5，并使用 1 个 3×3 大小和2 个并列 1×1 大小的卷积层进行扫描映射，以提高葡萄果梗的识别能力并缩短计算时间。三分支网络用于获取葡萄果梗的边、类别、掩码，设置类别数为 3 类（红葡萄果梗类、紫葡萄果梗类、背景
类），边框和类别分支由全连接层输出，掩码分支由 5个卷积层和 2 个反卷积层输出，将葡萄果梗与背景分割。
果梗分割过程：
步骤 1：提取葡萄果梗的粗分割结果和位置信息。
步骤 2：将分割出的葡萄果梗按高度值平均分成 3 段（A1、A2、A3），提取每段区域的色调（Hue，H）、饱和度（Saturation，S）、亮度（Value，V）色彩分量，并筛选出该区域的 H、S、V 分量平均值为其基准颜色阈值，H、S、V 分量平均值分别对应为 h、s、v。
步骤 3：设每段葡萄果梗的轮廓点为种子点，遍历种子点 4 邻域（即上、下、左、右邻域），将皆满足 H、S、V 分量阈值的点作为新轮廓点，删除当前种子点，循环执行至没有种子点。
步骤 4：将步骤 3 中获得的 A1、A2、A3 果梗轮廓区域进行形态学合并运算，最终得到果梗的精细分割结果。
采摘点位置计算：
以临质心点最近的葡萄果梗水平两侧中心作为最终采摘点.
质心点获取
采摘点确定:与质心点同水平且临近葡萄果梗边缘的两点中心点作为采摘点。