基于自主移动机器人的植物生长参数测量机器人系统,因其移动灵活、自动化与智能化程度高等优点,已逐渐成为植物表型研究领域的热点之一。本研究结合SLAM与深度学习技术,研发了一套具有良好准确性、实用性的设施内植物三维重建机器人系统,用于自动化采集植物图像并重建植物的三维点云模型,并基于模型可测量出植物的株高、叶长和叶宽信息,主要内容和结论如下:（1）构建了基于激光SLAM的移动机器人自主导航系统。基于RIA-R100四轮移动平台进行二次开发,采用TIM561激光雷达作为主传感器,在对比Gmapping和Cartographer两种激光SLAM算法的建图精度后,设计了基于Cartographer的机器人自主导航方法,并通过实验验证该导航方法的可行性,最终测得导航系统平移和旋转的平均相对误差分别为3.10%和1.45%。（2）构建了基于视觉SLAM的场景三维重建系统。根据针孔相机模型,使用彩色图像和深度图像,生成单帧图像对应的三维点云,并对Kinect V2相机进行标定,获得更准确的相机内外参数,以提升点云生成的准确性。基于ORB-SLAM2解算各帧图像对应的相机位姿,并通过实验验证地图优化和回环检测的有效性。之后,根据各帧的位姿和点云信息,结合所提出的自适应重建帧选择算法,从所有帧中自动挑选出少量帧进行点云融合,最终重建出相机所拍摄场景的三维点云模型。（3）结合深度学习技术,提出了基于Mask R-CNN+CRF的植物图像分割方法和基于Deblur GAN的图像运动模糊去除方法。为分离植物与背景,在对比Mask R-CNN和Deeplab V3+两种深度学习图像分割方法的分割精度后,采用Mask R-CNN对植物图像进行粗分割,再使用CRF进行精分割,分割结果的IOU可达0.9253。另外,为减少运动模糊图像对三维重建系统的影响,使用基于深度学习的Deblur GAN和所提出的模糊图像筛选算法,对机器人采集到的运动模糊图像进行去模糊操作。该图像运动模糊去除方法可将测试集上的PSNR提升8.66%,将真实模糊图的特征点数提升50.00%,将特征匹配数提升17.46%,将人造模糊图的图像分割IOU提升9.93%,并提升了ORB-SLAM2在经人工模糊后的KITTI数据集上的相机位姿解算精度,说明该去模糊方法可同时提升相机位姿解算和植物图像分割精度。（4）提出了结合运动模糊去除、相机位姿解算、植物图像分割、单帧点云生成、多帧点云融合、点云降噪平滑的植物三维重建方法,并构建了自主导航的植物三维重建机器人系统,在实验室环境下,对整机进行实验。首先在自主导航的基础上,将Kinect V2深度相机搭载于移动机器人的UR-5机械臂末端,通过事先给定导航点的方式,实现对植物种植区彩色图像和深度图像的自动采集,再通过所提出的植物三维重建方法,重建出10株蝴蝶兰植物的三维点云模型,其中图像采集耗时约53 s,三维重建耗时约82 s,并基于该模型测量出植物的株高、叶宽、叶长,三个参数的平均相对误差均在8.2%以内,RMSE均在6.7 mm以内,能较好地反映植物的三维特征。本研究开发的植物三维重建机器人系统,具有图像信息自动化采集的功能,且植物重建精度较高、耗时较短,有着良好的准确性和实用性,体现出广阔的应用前景。

植物工厂作为技术高度集成的农业系统,机械化、信息化和智能化是其重要特征。植物工厂生产过程中,将育苗海绵中高密度种植的幼苗转移到低密度的泡沫板这一过程称为定植。通过获取幼苗表型信息选取正常苗并将其定植到泡沫板上是实现现代农业智能化生产的重要一步。本文以植物工厂内的定植蔬菜幼苗为对象,研制了适用于植物工厂的幼苗定植装备,并基于深度学习技术研究了针对双叶幼苗表型信息获取技术,论文的主要研究内容和结论如下:（1）幼苗二维分割方法研究。采用深度学习网络FCN（Fully convolutional network）对幼苗二维进行语义分割,将图像的每个像素划分为茎、叶、节点和背景,采用深度学习网络Mask R-CNN（Mask region-convolutional neural networks）对幼苗二维进行实例分割,在语义分割的基础上分割出不同的茎、叶和节点等实例。采用迁移学习并选取合适超参训练上述网络,使用查准率、查全率和F1值对茎、叶、背景分割结果进行像素级别分割评价,结合Io U对茎和叶分割结果进行实例检测结果评价,根据预测节点和实际节点的欧几里得距离对节点检测结果进行评价。结果表明使用FCN方法的分割结果查全率更高,茎的F1值（F1值取值范围为0（最差）到1（最好））为0.68,叶的F1值为0.85,节点（阈值为2 mm）的F1值为0.98,使用Mask R-CNN方法的分割结果查准率更高,茎的F1值为0.70,叶的F1均值为0.78,节点（阈值为2 mm）的F1值为0.94。（2）幼苗三维表型分割与获取研究。提出一种基于多视图的三维分割法,使用投票决策法将幼苗二维分割结果投射至幼苗三维点云模型并提取幼苗表型信息,对比二维与三维分割结果得出三维分割结果在语义和实例分割方面均优于二维分割结果。对比基于多视图法和直接使用点云模型训练的深度学习法（Point Net++分割法和SGPN分割法）的分割结果得出Point Net++的预测结果最优,但是通过3种方法提取的茎长、总叶面积、单叶面积和叶片数量等幼苗表型信息与实际参数的拟合结果以及处理时间的对比分析,由于Point Net++与SGPN分割法受输入点数的限制,基于多视图分割法的拟合程度最高（总叶面积R~2=0.9578,语义分割茎长R~2=0.7696,单叶面积平均R~2=0.8616,实例分割茎长R~2=0.8711）,其次为Point Net++分割法（总叶面积R~2=0.8251,语义分割茎长R~2=0.7189,单叶面积平均R~2=0.7970,实例分割茎长R~2=0.3466）和SGPN分割法（总叶面积R~2=0.8849,语义分割茎长R~2=0.0879）,并且基于多视图分割法的叶片数量预测完全正确且运行时间最短,Point Net++预测数量少于实际数量且运行时间次之,SGPN无法完成实例分割且运行时间最长,结合实际应用场景选用基于多视图分割法更适合实时获取准确的幼苗表型信息。最后基于提取的幼苗表型信息开发幼苗分类程序,该程序具有用户自主设定并选取分类参数、统计幼苗表型信息和幼苗分类的功能,为定植装备选取正常苗提供数据支撑。（3）植物工厂定植装备的研制。根据育苗海绵和种植泡沫板的参数和物理性质,研制了基于幼苗表型的定植装备,装备分为夹持分离区、幼苗表型信息获取区和转移区三个部分,具有分离、输送、分类、定植的功能。重点对辅助分离机构、夹持分离机构和幼苗表型获取机构进行设计,仿真辅助分离机构中的U型杆插入海绵的过程并优化U型杆,研制夹持机构中的“半弧型”夹具并选取合适的夹持手爪采用上下交错安装方式分离相连海绵,研制分离机构完成带苗海绵等距分离,采用遮罩、背光光源和10个相机等设备采集幼苗图像为幼苗表型提取提供数据来源,实现装备能在不破坏幼苗的情况下,基于获取的幼苗表型信息选取正常幼苗并将其成功定植。（4）定植装备关键机构作业参数优化与性能测试。开发定植装备关键机构试验平台及其控制系统,采用PLC控制器,控制各气缸驱动各部件进行海绵夹取、分离和释放等步骤。研究关键机构的气动夹钳气压、夹具插入宽度、夹具与海绵块接触长度这3个主要作业参数对定植成功率的影响,并分析上述参数对海绵块分离失败率、幼苗受损率、海绵块受损率、机构释放失败率和幼苗歪斜率的影响。通过对培育在密度为30 kg/m~3育苗海绵上的“868”小青菜幼苗进行上述参数的全面试验研究,确定了当气动夹钳气压为0.6 MPa、夹具插入宽度为11 mm、夹具与海绵块接触长度为15 mm时为定植较优作业参数。针对种植在密度为20、25、30 kg/m~3育苗海绵的“868”小青菜、种植在密度为30 kg/m~3育苗海绵的“意大利”生菜和种植在密度为30 kg/m~3育苗海绵的“新上海青”小青菜的幼苗进行定植试验,平均定植成功率为96.8%,证明所设计定植装置是可行的,且该定植过程比手动定植可减少约60%的操作时间。

我国是农业大国,蔬菜产量稳居世界第一。在农业生产过程中,及时掌握作物生长状况对科学指导农业生产具有重要意义。本文以微软第二代Kinect深度相机和高分辨率的彩色RGB相机为作物信息获取设备,以作物鲜重的准确预估为主要目标,探究在不同种植生产环境下有效可行的作物完整三维点云获取方法以及基于三维点云的作物形态参数获取方法。针对不同种植环境的特点设计并优化作物三维模型的获取方法,并探究了结合深度学习的田间玉米幼苗实时计数方法。本文从以下四个部分进行探索:（1）实验室内基于深度相机的作物信息获取基于课题组前期针对室内单株作物信息获取方法的研究基础继续开展。本文提出了一种在实验室内利用Kinect V2,通过俯拍获得单一视角下作物RGBD信息,重建完整的作物三维模型的方法,并在此基础上获取作物形态学参数。针对Kinect V2单一视角拍摄的作物点云靠近中心根部位置缺失的问题,本文提出了基于叶片特性的单视角俯拍植物点云的修补方法,在俯拍视角下可以获得准确的作物三维模型。（2）温室内基于深度相机的作物信息获取。将前期实验室内以Kinect V2俯拍作物并获取信息的方法推广到温室内。针对温室的拍摄环境对实验室内提出的方法进行优化和完善。在分割出植物后,我们使用（1）中的方法提取株高和总叶面积。本文开展了种植实验,其中单株作物的三维模型计算株高和人工测量的参考株高的线性拟合后可决系数为0.8234,而总叶面积和作物的鲜重的线性拟合的可决系数可达0.938。（3）植物工厂内结合深度相机和彩色相机的作物信息获取针对植物工厂的种植环境,本文使用彩色相机作为作物图像信息的获取设备。针对植物工厂内基于SFM（Structure From Motion）重建的三维模型叶片存在孔洞的问题,本文提出了一种人工选取关键点修补孔洞的方法。并以此半自动修补方法得到的作物三维模型为参考真值,训练了MSN（Morphing and Sampling Network）点云修补网络,实现了对作物点云孔洞的自动修补。实验表明,修补后肉菠菜的计算总叶面积对于鲜重进行线性拟合后可决系数达到0.8271,而大叶菠菜总叶面积对于鲜重的线性拟合后可决系数可达0.8971,二者都可对鲜重进行准确预估。（4）田间基于彩色相机的作物数量获取。本文探究了基于二维图像在田间的玉米幼苗实时计数方法。将运动相机安置在田间移动采集设备上,采用俯拍方式连续采集田间玉米幼苗的视频流数据,结合Yolo V3（You Only Look Once.Version 3）和卡尔曼滤波实现对玉米幼苗的识别、跟踪和计数。在玉米的V2和V3阶段的计数准确度可以达到98%。

针对矮化休眠期枣树修剪过程中人工修剪劳动强度大、用工成本高,以及机械修剪产生的错剪、漏剪等问题,开展选择性修剪关键技术研究,为休眠期枣树剪枝机器人的研制提供理论依据。本文在3种光照环境下（晴天、阴天和夜间）对休眠期枣树信息进行准确获取,结合深度学习技术对枣树枝干进行识别并自动提取修剪枝的长度和直径参数。最后建立枣树剪枝过程的虚拟仿真环境,利用随机采样算法规划出修剪过程的路径轨迹并进一步优化。本文主要研究内容及结论如下:（1）提出了重建休眠期枣树高质量三维点云的方法。针对自然环境下单个Azure Kinect DK深度相机获取休眠期枣树枝干点云质量较差的问题,搭建了基于2个固定深度相机的视觉感知系统,并提出了2个固定深度相机位姿标定的方法。利用该视觉系统获取3种光照环境下的枣树点云,然后进行点云预处理并分析不同光照条件对获取枣树点云的影响。为解决由枣树枝干之间相互遮挡而导致的断点问题,提出了一种基于骨架点的配准方法对枣树枝干断点进行补全,对比了经典ICP算法、SIFT-ICP算法、ISS-ICP算法和HARRIS-ICP算法,结果表明本文算法相对于以上4种算法其配准时间和配准误差都进一步降低,且稳定性高。相对于阴天和夜间,在晴天时,枣树点云配准所需时间最少,配准时间为0.09 s,而配准误差最大,其配准误差为0.29 mm;在阴天时,枣树点云配准的时间介于晴天和夜间之间,而此时配准误差最小,其配准误差为0.11 mm。（2）建立了基于枣树前景图像的修剪枝识别方法。对获取的枣树彩色点云基于距离阈值去除复杂的枣园背景,并构建休眠期枣树的前景图像。基于不同特征提取网络的语义分割模型Unet、PSP Net和Deep Lab V3+分别对枣树前景图像进行语义分割,同时分析3种光照条件对枣树枝干分割精度的影响,并提取单个修剪枝。基于特征提取网络Res Net-50的Deep Lab V3+模型分割结果最好,对于枣树主干的像素准确率和交并比分别为90.36%和80.98%,而修剪枝的像素准确率为80.34%以及交并比为66.69%,并且不同的光照条件对枣树枝干分割精度影响不明显,表明该方法具有较好的鲁棒性,但修剪枝的识别精度有待进一步提高。（3）提出了枣树三维点云的修剪枝识别与参数提取方法。利用深度学习SPGNet网络对重建的枣树三维点云进行语义分割,通过每类精度、交并比等指标对点云的分割结果进行评价,其中枣树主干的分割精度和交并比分别为94%和85%,而修剪枝的分割精度和交并比分别为83%和75%。同样的对比分析了3种光照条件下枣树点云的分割精度,然后结合聚类算法提取单个修剪枝。通过对3种光照环境下修剪枝点云（随机选择45棵枣树）进行聚类分析,结果表明每棵枣树修剪枝数量的均方根误差均低于2个枝条。在识别单个修剪枝的基础上,提出了修剪枝长度和直径参数自动提取的方法,其中修剪枝长度拟合的相对误差在1 cm以内,而直径的相对误差在2 mm以内。（4）建立了枣树修剪过程的路径规划与优化方法。通过2个深度相机上下视场的配准获取真实高度的枣树点云,并对点云进行预处理去除地面等噪声,以构建剪枝的虚拟环境。结合随机采样算法对枣树剪枝过程进行路径规划,并提出了一种路径优化的策略,分析了4个待剪枝的路径规划过程,利用路径长度、运行时间、变异系数对规划过程进行评价,所提出的优化方法能减少一些非必要的随机点,进而减少剪枝过程路径规划的长度。

蓝莓收获前果实性状,例如紧实度、成熟度、果实数量、果实大小,以及收获后的瘀伤率等是蓝莓收获相关的重要表型性状,可为蓝莓基因选择、生产管理、收获产量预测、收获决策等提供重要理论依据。本文利用深度学习和图像处理技术,开展了蓝莓果实在二维以及三维空间上的收获相关性状提取方法研究,对机械收获后蓝莓瘀伤进行自动检测方法研究,主要研究内容和结论如下:（1）研究提出一种半自动图像标注方法,在不影响模型性能的前提下大大减少了图像标注时间。通过对实验采集的724张图像进行数据标注,训练Mask R-CNN获得蓝莓实例分割模型,验证集和测试集在0.5的Io U阈值下分别获得78.3%和71.6%的检测精度,以及90.6%和90.4%的分割精度。通过Mask R-CNN模型对“Emerald”、“Farthing”、“Meadowlark”和“Star”四个品种的蓝莓进行特征提取,获得的蓝莓数量和成熟度的精度分别为67.3%和88.5%。通过对四个品种的性状进行统计分析可得:每个簇中“Star”的蓝莓数量最少;“Farthing”果实的成熟度最低,但最为紧实;“Meadowlark”蓝莓果实最疏松。（2）搭建了一个用于蓝莓果实三维重建的图像采集系统,利用Sf M三维重建技术获取蓝莓样本的三维点云及其网格化模型,实现三维重建,获得99.2%的三维重建结果。通过2D-3D映射,将每个蓝莓的mask及其成熟度信息映射到三维空间,获取相对的3D patch,遍历所有patch之间的重合度,对属同一蓝莓的patch进行聚类与分割得到独立的三维蓝莓个体。通过特征提取算法获取蓝莓果实数量、成熟度、紧实度以及蓝莓体积。利用以上方法对四个品种的蓝莓进行特征提取,结果表明,蓝莓果实数量和成熟度的检测精度分别为97.3%和91.2%。对于10个果实以上蓝莓簇的个体体积误差小于0.292 cm~3。通过四个品种蓝莓的统计分析可得:“Emerald”和“Farthing”的蓝莓果实比“Meadowlark”和“Star”更紧实;“Farthing”的成熟蓝莓体积大于“Emerald”和“Meadowlark”,而“Star”具有最小的成熟蓝莓体积。（3）对68张图像共1725个蓝莓进行数据标注,使其对Mobile Net SSD和Mobile Net U-Net进行训练,获得一个蓝莓检测模型、一个蓝莓果肉分割模型和一个瘀伤分割模型,其验证数据集在0.5的Io U阈值下,检测精度、果肉分割精度、瘀伤分割精度分别为97.7%、97.9%、77.3%。利用这三个模型开发一个具有五个功能模块的蓝莓瘀伤评估App。对蓝莓进行不同碰撞条件下的实验,在三个不同配置下对蓝莓进行瘀伤检测,检测准确率分别为73.4%、74.2%和74.3%。通过对不同碰撞条件下瘀伤的统计分析可得:蓝莓与软表面撞击以及降低碰撞高度可以有效减少瘀伤的产生。

为了实现休眠期枣树自动选择性剪枝作业，针对复杂树形结构修剪枝难以识别的问题，研究了基于语义分割网络实现自然场景中枣树修剪枝识别与骨架提取。通过RGB-D相机搭建的视觉系统获取不同天气情况下枣树的点云信息，根据距离阈值去除复杂的枣园背景，并构建枣树前景数据集。利用DeepLabV3+和PSPNet 2种深度学习模型分割枣树枝干同时获取其修剪枝的掩膜，并进行结果对比。对修剪枝掩膜进行二值化，依据二值图像的面积去除噪声，对去噪后的连通域标记，并提取修剪枝骨架，最终确定修剪枝数量，建立修剪枝数量真实值与预测值之间的线性回归模型。结果表明：基于ResNet-50特征提取网络的DeepLabV3+模型识别结果最好，平均像素准确率（mPA）、平均交并比（mIoU）分别为89%和81.85%,其中枣树主干、修剪枝2个类别的像素准确率（PA）和交并比（IoU）分别为90.36%、80.98%和80.34%、66.69%;在3种典型天气（晴天、阴天、夜间）情况下，晴天枣树枝干的mPA（91.97%）略高于阴天（91.81%）和夜间（90.98%）,同时，预测的修剪枝与真实值的R~2（0.869 9）也高于阴天（0.837 3）和夜间（0.812 0）,并得到最小的RMSE为1.161 8。

为了实现休眠期枣树自动选择性剪枝作业，针对复杂树形结构修剪枝难以识别的问题，研究了基于语义分割网络实现自然场景中枣树修剪枝识别与骨架提取。通过RGB-D相机搭建的视觉系统获取不同天气情况下枣树的点云信息，根据距离阈值去除复杂的枣园背景，并构建枣树前景数据集。利用DeepLabV3+和PSPNet 2种深度学习模型分割枣树枝干同时获取其修剪枝的掩膜，并进行结果对比。对修剪枝掩膜进行二值化，依据二值图像的面积对噪声去除，对去噪后的连通域标记，并提取修剪枝骨架，最终确定修剪枝数量，并建立修剪枝数量真实值与预测值之间的线性回归模型。结果表明：基于ResNet-50特征提取网络的DeepLabV3+模型识别结果最好，平均像素准确率（mPA）、平均交并比（mIoU）分别为89%和81.85%，其中枣树主干、修剪枝2个类别的像素准确率（PA）和交并比（IoU）分别为90.36%、80.98%和80.34%、66.69%；在3种典型天气（晴天、阴天、夜间）情况下，晴天枣树枝干的mPA（91.97%）略高于阴天（91.81%）和夜间（90.98%），同时，预测的修剪枝与真实值的R^2 （0.869）也高于阴天（0.837）和夜间（0.812），并得到最小的RMSE（1.16）。

基于三维视觉系统的作物重建与生长参数获取，实时监测作物全生长周期内的生长发育状况，借助自动化和智能化技术手段搭建生长监测与生长信息管理系统，对科学指导设施温室内的农业生产具有重要意义。本研究以消费级深度相机作为主要的信息感知装备，探究其在实验室场景、玻璃温室场景以及植物工厂场景下对单株作物和群体作物的三维重建方法。根据使用场景的差异优化建模方法，搭建作物三维重建平台。将平台搭载在自动巡检机器人上，实现设施温室、植物工厂等场景下，作物三维模型的自动化获取。分析、对比传统计算机视觉系统、三维几何学以及深度学习方法在作物模型分割问题上的表现情况，通过实验验证基于二维图像的作物分割方法在分割准确性、稳定性以及时效性上均优于基于三维模型的分割方法。基于作物的形态特征，修补因视角有限导致的三维模型缺陷。通过实验验证从三维模型上提取的生长参数与实际测量值线性拟合高度相关，并且总叶面积、体积等生长参数与鲜重、干重的测量值相关性优异，可用于作物生物量的估计。搭建作物生长信息管理系统集成了数据采集、处理、管理和查看等功能。整套系统包含了作物三维重建、生长参数获取以及生长信息管理，可以为科学生产等提供准确的作物信息，为温室内水肥管理、作物的科学生产等提供准确的作物信息。