Intelligent Recognition and Three-Dimensional Reconstruction of Crop Phenotypes: A Review

ZHANGJianhua, YAOQiong, ZHOUGuomin, WUWendi, XIUXiaojie, WANGJian

PDF(1298 KB)
PDF(1298 KB)
Smart Agriculture ›› 0 DOI: 10.12133/j.smartag.SA202401015

Intelligent Recognition and Three-Dimensional Reconstruction of Crop Phenotypes: A Review

Author information +
History +

Abstract

Significance The crop phenotype represents the external expression of the interaction between crop genes and the environment. It is the manifestation of the physiological, ecological and dynamic characteristics of crop growth and development and represents a core link within the field of intelligent breeding. Systematic analysis of crop phenotypes can not only provide insight into the function of genes and reveal the genetic factors that affect the key characteristics of crops, but also can be used to effectively utilize germplasm resources and breed varieties with major breakthroughs. The utilization of data-driven, intelligent, dynamic and non-contact crop phenotypic measurement enables the acquisition of key traits and phenotypic parameters of crop growth, thereby furnishing crucial data support for the breeding and identification of breeding materials throughout the entire growth cycle of crops. Progress Crop phenotype acquisition equipment represents the fundamental basis for the acquisition, analysis, measurement and identification of crop phenotypes. Such equipment can be employed monitor the growth status of crops in detail. The functions, performance and applications of the dominant high-throughput crop phenotyping platform, along with an analysis of the characteristics of various sensing and imaging devices employed obtain crop phenotypic information are presented. The rapid development of high-throughput crop phenotyping platforms and perceptual imaging equipment has led to the integration of advanced imaging technology, spectroscopy technology and deep learning algorithms. These technologies enable the automatic and high-throughput acquisition of yield, resistance, quality and other related traits of large-scale crops, as well as the generation of large-scale multi-dimensional, multi-scale and multi-modal crop phenotypic data. This supports the rapid development of crop phenomics. The research progress of deep learning in the intelligent perception of crop agronomic traits and morphological structure, with respect to various phenotypes such as crop plant height, leaf area index, and crop organ detection is presented. Additionally, the main challenges associated with this field are outlined, namely the complexity of environmental influences, the difficulty of large-scale data processing due to data diversity, model generalization issues, and the need for lightweight algorithms. The analysis of crop phenotypes and morphological characteristics based on three-dimensional reconstruction technology is considered to be more accurate than that based on two-dimensional images. A summary and discussion of the three-dimensional reconstruction method for crops is provided, and the main challenges encountered are also outlined, including the complexity of crop structures, the necessity of algorithm optimization and the cost and practicability of the method. Conclusions and Prospects It is devoted to the examination of the difficulties and challenges associated with the intelligent identification of crop phenotypes based on deep learning, from the perspective of research and development of innovative field equipment for the acquisition and analysis of phenotypic data, the establishment of a unified data acquisition and data sharing platform with the objective of improving the efficiency of data utilization, the enhancement of the generality aforementioned approach. A field crop phenotype intelligent identification model must consider multiple perspectives, modalities and points in time. This necessitates a continuous, multi-faceted analysis. It is achieved to identify characteristics in a spatiotemporal context through the fusion of various data sources, such as images, spectral data and weather information. In terms of interpretability models, it explores the potential of deep learning in crop phenotype intelligent recognition. It will be necessary for future research to break through the current bottleneck of high-throughput crop phenomics technology. It is vital to conduct further research into the field of visual perception and deep learning methods. This will allow for the realization of the intelligent acquisition of crop phenotypic information, as well as an intelligent management of phenotypic data.

Key words

crop intelligent perception / phenotypic recognition / organ detection and technology / deep learning / 3D reconstruction / morphometry / large models

Cite this article

Download Citations
ZHANG Jianhua , YAO Qiong , ZHOU Guomin , WU Wendi , XIU Xiaojie , WANG Jian. Intelligent Recognition and Three-Dimensional Reconstruction of Crop Phenotypes: A Review. Smart Agriculture. 0 https://doi.org/10.12133/j.smartag.SA202401015

0 引 言

作物表型是作物基因与环境相互作用的外在表现,展示了作物生长发育过程中的生理生态特征和动态特性,体现了作物细胞、组织、器官、植株和群体结构及功能特征的物理、生理和生化性状1。在作物育种的领域中,作物表型是研究“基因型—表型—环境型”作用机制的重要桥梁,是系统解析生命复杂系统的突破口。通过系统分析作物表型,不仅可以深入了解基因的功能,揭示影响作物关键特征的遗传因素,还能有效地利用种质资源培育具有重大突破性的品种2。近年来,作物表型作为影响种质资源使用效率和现代种业持续增长的关键因素,受到了全球范围内的高度重视,美国、英国、法国、日本和澳大利亚等国家纷纷推出相应的作物表型研究项目。例如共享欧洲各国表型设施的欧洲多尺度植物表型组学与模拟基础设施计划(European Infrastructure for Multi-Scale Plant Phenomics and Simulation, EMPHASIS)、英国最新设立的国家植物表型组计划Phenome、由美国国家科学基金会和能源部共同资助的基于可再生农业的交通能源表型参考平台计划 (Transportation Energy Resources from Renewable Agriculture Phenotyping Reference Platform, TERRA-REF)、法国“国家植物表型重大基础研究设施Phenome”等,大力发展作物表型识别技术。
作物表型识别的目标在于全面且高效地监测作物在全生育期的生长状态,实时提供数据支持以指导不同环境条件下的种质资源管理与育种设计繁育调整策略,为基因组功能解析、分子育种、种质资源开发及农业生产的精细化管理提供助力3。传统获取作物表型信息的方法效率不高、规模有限且劳动密集4。随着遗传学、表型组学和基因研究的快速发展,基于大数据的智能育种和计算育种模型迅速发展5。利用深度学习结合多种成像技术,如高光谱、近红外等相机,通过数据驱动实现智能化、动态化和非接触式的作物表型测量,能够在作物全生育期内精确监测表型的动态变化6。强化基于深度学习的作物表型识别研究,进一步促进高通量作物表型智能获取与助力作物育种的发展,通过细化研究方法和优化深度学习模型,可提高作物表型识别的精度和效率,为育种过程中的决策提供更可靠的数据支持。
本文对基于深度学习的作物表型智能识别发展现状进行了总结,介绍了作物表型高通量作物表型平台设备与方法,阐述了作物农艺性状与形态结构智能感知,以及作物三维重建研究进展,分析了基于深度学习的作物表型智能识别存在的难点及其面临的挑战,最后对作物表型智能识别的未来研究方向进行了展望,为作物表型的智能化获取发展提供技术参考。

1 作物表型获取主要平台设备与方法

作物表型获取设备是作物表型获取、分析、测量、识别等的基础和重要手段。随着现代育种技术的发展和进步,高精度、自动化、多功能的作物表型获取设备越来越受到重视。传统作物表型测量设备主要用于测量作物高度、叶长、叶片形态等,只适用于单株作物或小范围的作物表型数据收集7。近年来,高通量作物表型平台由于集成了先进的成像技术、光谱技术和智能控制技术,能够自动化、高通量地获取大规模作物的产量、抗性、品质等相关性状,受到越来越广泛的关注。

1.1 高通量作物表型平台

高通量作物表型平台整合热红外、高光谱、激光雷达、荧光、高清等多种成像技术,并将多种成像技术集成在移动或固定平台上,以实现快速、大规模的作物表型数据采集。平台具有高效的数据收集效率,无需直接接触作物即可进行测量的方式,对作物多维特征捕捉以及大规模数据处理与分析的能力8
相比传统的手工测量方法,高通量作物表型平台能够大幅提高数据采集的效率和规模,从而实现对大规模作物群体的全面观测和分析。如图1所示,高通量作物表型平台包括多种平台,例如田间轨道系统、温室轨道系统、室内轨道系统等多种类型9, 10。可根据环境因素、检测目标的特性以及适用条件等多重因素来挑选最适宜的平台。
Fig.1 Different crop phenotypic platform

图 1 不同种类作物表型平台

Full size|PPT slide

田间龙门式作物表型平台(图1a)通常部署在田间作物种植区域,利用龙门式起重系统组建三轴表型系统,X轴方向的运动通过轨道系统进入地面,以允许自然排水和无障碍运行,Y轴垂直于轨道,并且承担传感器设置的升降装置,Z轴是升降单元上下移动的方向,使系统精密地在X、Y和Z轴上运动,搭载高分辨率摄像头、多光谱传感器、红外传感器、激光雷达等,对作物的株高、叶面积、叶片颜色、叶片温度、光合作用速率等生长性状指标进行采集,通过机器学习等分析技术可以实现对大面积作物群体的监测和数据采集,为作物生长情况评估、种质资源鉴定、新品种繁育提供全方位的数据支持,适用于水稻、玉米、小麦、大豆、棉花等作物。田间龙门式作物表型平台具有作物特征信息获取效率高、高通量多维度检测能力强等优点,但还存在建设与维护成本高、适用条件限制较多等不足。具有代表性是德国的Field Scanalyzer。
温室轨道式作物表型平台(图1b)是适用于温室种植环境的设备,搭载高分辨率摄像头、温湿度传感器、光照传感器、气体传感器等。该平台不仅可以实现对温室蔬菜、水果、花卉等作物生长速率、叶片面积、叶片颜色、果实大小、果实熟度等生长性状指标的自动化监测和数据采集,且可实现生长情况的智能分析和预测,为温室作物生产和研究提供重要的技术支持。此平台的缺点为成本高、安装和维护要求高、有适用性限制、需要强大的计算能力和专业的数据分析技术来处理和解释数据等。代表性产品是慧诺瑞德(北京)科技有限公司的PhenoTrait。
室内轨道式作物表型平台(图1c)是专门为室内种植环境研发的先进设备,用于实现对作物生长情况的自动化监测和数据采集。适用于各种室内种植作物,包括叶菜类、草本植物、草莓等。通常搭载高分辨率摄像头、温湿度传感器、光照传感器、气体传感器等,可以实现对室内环境和作物生长情况的多维监测。通过深度学习算法对传感器采集的数据进行处理,可以实现对作物生长情况的智能分析和预测,为室内作物生产和研究提供重要的技术支持。室内轨道式作物表型平台可在控制环境下实现精准、高通量的植物表型数据采集,但设备投资大。代表性产品是德国LemnaTec公司研发的Field Scanalyzer平台。
便携式作物表型平台(图1d)是一种灵活便携的设备,适用于各种环境条件下的作物生长监测,用于实现对作物生长情况的实时监测和数据采集。适用于小麦、玉米,大豆等多种作物。通常搭载高分辨率摄像头、温湿度传感器、光照传感器、气体传感器等,对作物的生长速率、叶片面积、叶片颜色、器官等生长性状指标进行检测。便携式作物表型平台虽然具有方便携带、适应性强等优点,且能获取作物细节表型特征,但也存在一些缺点和局限性,主要包括通量较低、精度和稳定性低、无法即时处理数据、环境适应性差、设备耐用性不够等。尽管存在这些缺点,在资源有限或需要在多个地点进行测量的情况下,便携式作物表型平台仍然是一个有价值的工具。代表性产品是荷兰KeyGene公司研发的KeyBox表型平台。
移动载体作物表型平台(图1e)是主要移动巡检机器人,可通过自主行走并实时采集作物生长数据,为大面积作物种植区域的管理和研究工作提供高效、精准的数据采集解决方案,有助于提高作物生产的效率和质量。该平台适用于小麦、玉米、棉花、水稻等作物,对作物的株高、叶片数量、果实数量、作物覆盖度、病虫害情况等生长性状指标进行信息采集,通常搭载激光测距传感器、多光谱相机、红外热像仪等。平台对可变地形适应性强,支持大规模田间数据采集,准确率较高,但面临复杂环境干扰,技术维护要求高等缺点。代表产品是捷克Photon Systems Instruments公司的Plant Screen-R移动式植物表型成像分析系统。
无人机作物表型平台(图1f)是利用无人机实现作物监测和数据采集的设备,可以在作物田间快速、高效地获取作物生长数据。适用于各种类型的农田和植物种植区域,采集作物的生长高度、叶面积指数(Leaf Area Index, LAI)、叶片颜色、病虫害情况、果实数量等生长性状指标,为作物生长监测提供了灵活、便捷的解决方案。无人机作物表型平台通常搭载多种传感器,如多光谱相机、红外热像仪、高清摄像头等,提供高效、灵活、高分辨率的空中数据采集,适用于大面积农田,但容易受天气、算法和计算能力、电池容量等限制。该平台主要检测作物的冠层,但对于作物冠层里面信息获取较少,且受到严格的限飞政策影响。
卫星遥感作物表型平台(图1g)是利用卫星遥感技术实现作物监测和数据采集的平台,可以实现对大范围作物种植区域的监测和分析,实时监测农作物的生长情况、生长速度、生长量、叶面积指数等,对农作物生长状况、预测产量进行评估。该平台适用于广阔的农田和植被覆盖区域,为农业生产和资源管理提供了全面的数据支持,但也存在一些局限性,如影像数据空间分辨率较低、云层遮挡、无法提供足够连续的监测数据、成本高、大气校正、数据处理和分析工作量大、需要进行地面真实性检验,同时快速、高效、无损地处理定量、可重复的大面积高通量表型数据的算法仍有待加强等。哨兵系列、高分系列遥感卫星可提供可见光和近红外波段的遥感影像,用于提取作物的光谱信息和反射率;合成孔径雷达(Synthetic Aperture Radar, SAR)影像数据,可以穿透云层和植被覆盖,提供土地表面的微观结构和变化信息等,为卫星遥感作物表型平台提供支持。

1.2 感知成像设备

深度学习是数据驱动的模型方法,其数据的规模和质量直接决定模型的准确度和泛化能力,因此用于获取作物生长过程中各种表型数据的感知成像设备至关重要。感知成像设备具备高数据吞吐量和高图像清晰度等优点,能够实时收集作物的多维度和多尺度表型特征信息11。感知成像设备主要包括激光雷达、热红外相机、高光谱相机、紫外相机、荧光相机、深度相机、多光谱相机、可见光相机等。图2展示了常用于农业领域的各种感知成像设备。
Fig.2 Common phenotype acquisition sensor devices

图2 常见表型获取传感器设备

Full size|PPT slide

激光雷达能精确获取作物的空间形态数据,波长范围905~1 550 nm,可测量作物株高、叶面积、生物量、冠层结构、产量性状等指标12。热红外成像相机红外区域每个像素连续或离散的光谱波长范围在7 500~135 000 nm,可获取作物冠层或叶片温度、温度分布、冠层温度下降差、病虫害感染情况等信息。高光谱相机可获取不同波段的作物冠层频谱响应信息,波长为400~1 700 nm,通过反演获得作物的生物量、微量元素含量、植被健康指数、覆盖密度等信息13。紫外相机感知紫外区域每个像素连续或离散的光谱,波长范围200~400 nm,可用于探测作物的品质信息、病虫害感染情况、叶片光合作用、生物胁迫检测等。荧光相机基于像素的荧光发射图,波长为400~1 000 nm,可获得作物反射的荧光光谱信息,进而获得作物叶绿素含量、花青素含量、光合作用参数、胁迫指数等信息。深度相机可生成深度图,波长范围在800~1 000nm,进而获得作物的生长状态和高度、根部结构、叶片数量、叶面积、作物密度和间距、叶片健康和疾病检测、果实检测和计数等信息。多光谱相机可测量不同波长范围内图像数据,波长范围在450~940 nm,用于获取叶绿素含量、植被指数、LAI、水分含量等信息。可见光相机获取灰色或彩色图像(RGB通道),波长范围在380~1 030 nm,适用范围较广,可测量株型、叶型、根系结构、产量性状、生物量、生长状态、投影面积等信息。
在作物表型信息收集过程中,感知成像设备发挥着关键作用,直接或间接感知作物的信息。然而,单一成像设备地采用可能导致数据的单一性,无法满足对高通量、高精度表型研究的需求,使用多种感知成像设备可以在一定程度上解决数据量单一和不足的问题。近年来,随着感知成像设备的远程非接触性感知能力越来越强、精度越来越高,环境适应能力越来越好,多感知成像设备相互融合、相互搭配越来越常见,尤其是在大型高通量表型获取平台、无人机飞行器平台,以及在田间巡检机器人上得到了广泛的应用,可以获取多维度、多尺度、多模态的作物表型数据信息。此外,三维感知成像设备受到了研究者们的关注,激光扫描雷达成像技术、深度相机等在植物表型组学研究中得到了广泛应用。在实际应用中,选择适合的成像设备需要考虑设备的功能性、操作便捷性、应用场景和成本等因素,从而获得最优的作物感知信息。

2 作物农艺性状与形态结构智能感知研究进展

作物农艺性状是作物在生长发育过程中表现出来的形态、生理和生物化学特征,可以用于作物品种鉴定、遗传改良、产量预测和抗性评估等方面。形态结构智能感知主要包括作物形态特征和结构信息。通过分析图像可以准确提取作物的形态特征,以实现作物形态结构的智能感知和评估。

2.1 作物农艺性状智能感知

作物农艺性状智能感知是作物表型智能识别的重要内容,是指在复杂自然条件下对作物的株高、LAI、作物器官等可以代表作物农艺性状的智能感知与数字化获取,通过分析作物农艺性状的遗传规律,可以揭示作物性状的遗传基础,为作物育种和遗传改良提供重要的参考。

2.1.1 作物株高获取

作物株高是从作物底部到主茎顶端的生长点的长度,是表型测量中的一个关键指标。作物株高实时监测对于农业生产的管理和决策具有重要意义,能够更好地了解作物生长情况,及时采取措施,提高农业生产效率和质量。作物株高可通过利用激光雷达、多光谱相机、可见光相机、超声波传感器等感知成像设备获取。
可见光相机是常用的测量作物株高的设备,可搭配无人机等采集信息,快速获得作物株高。梁永检等14利用无人机RGB遥感估算系统,通过数字表面模型(Digital Surface Model, DSM)提取甘蔗各生育期的株高信息,其在全生育期模型拟合性最好,苗期株高模型预测精度最高。郭涛等15利用无人机搭载高清数码相机作为无人机遥感数据获取平台,基于各生育期小麦品种(系)的数字正射影图像( Digital Orthophoto Map, DOM)和DSM,构建不同生育时期的株高估测模型,发现全生育期株高估测效果最好。Herrero-huerta等16使用无人机影像和深度学习技术Point Net自动提取玉米的结构组分表型性状,包括总高度、冠幅和方位角等指标,精度R 2达到90%以上。
激光雷达是常见的测量作物株高的设备,通过记录发射的激光飞行时间准确地测算出激光接触到作物和土壤的时间,从而得到作物株高信息。激光雷达测量株高的优势在于高精度和高分辨率,能够在多种天气和光照条件下进行测量,并且能够提供三维数据。当前通过无人机搭载激光雷达或地基激光雷达的方式测量作物株高成为了研究的热点。Xu等17利用无人机搭载激光雷达,以冠层密度估算棉花高度,R 2达0.90,显著提高了棉花株高的估算精度。Zhou等18利用无人机和激光雷达,结合冠层高度模型(Canopy Height Model, CHM)、数字高程模型(Digital Elevation Model, DEM)实现了对倒伏玉米株高变化分析,R 2达到0.964。Harkel等19创建适用于小麦、马铃薯、甜菜等不同作物株高测量的三维剖面指数模型(3-Dimensional Profile Index, 3DPI),甜菜和冬小麦的准确度分别为0.70和0.78,高于马铃薯的准确度为0.50,由于马铃薯复杂的冠层结构和起垄的种植模式,影响了株高估算的准确率。
多光谱技术可以通过计算植被反射的红外光线和绿色光线之间的比值来推断作物的高度。此外,利用可见光图像分析技术可以分析作物图像中的垂直尺寸来测量作物株高。杨进等20采用了无人机搭载的可见光与多光谱成像设备,对三个不同品种且处于不同播种阶段的玉米冠层进行了数据采集,通过作物群体DEM估测试验区株高。
超声波传感器运用声波的发射与回波接收,测量作物与传感器之间的距离,计算出作物高度21。Bronson等22研究了使用超声波传感器估计棉花植株高度的可行性,手工测量的植株高度与超声波感测到的高度之间的相关性随着生长阶段的增加而增加,中期开花时的R 2值为0.92~0.99,快速响应的超声波传感器非常准确,具有作为棉花冠层高度测量仪器的巨大潜力。
无人机的广泛应用和深度学习算法的进一步发展,对作物株高监测具有广阔的应用前景,未来主要发展方向包括:(1)实时数据收集。通过使用无人机、卫星遥感或地面传感器,实时收集作物株高数据,通过快速的数据处理技术进行实时分析,如深度学习模型推理技术,短时间内对大量数据进行处理和分析,为作物生长模型和精准管理提供动态输入。(2)自动化监测。通过相机、激光扫描雷达等获取田间作物数据,结合深度学习方法,实现高精度、大规模、智能获取作物株高信息。监测无需人工干预,节省人力成本并提高测量效率。(3)辅助智能育种研究。通过将株高智能识别技术用于大规模育种试验中,快速评估不同基因型或品种在相同环境条件下的株高表现,筛选出所需的特定品种。

2.1.2 作物叶面积指数获取

LAI是指单位土地面积上单面叶片的总面积,是评估作物生长状况和生产力的关键指标之一。在精准农业和作物管理中,监测LAI具有重要意义。通过获取LAI可对作物的长势、产量以及能量交换等信息进行监测。作物LAI获取通常采用卷积神经网络(Convolutional Neural Networks, CNN)、长短时记忆网络(Long Short-Term Memory, LSTM)等对植被进行特征提取,在特征图上进行像素级别的分类或回归,得到每个像素点的LAI值,从而得到整个作物的LAI。
聂志刚等23对小麦的各个生育期分别进行数据采集,采用农业生产系统模拟器(Agricultural Production Systems sIMulator, APSIM)结合混合蛙跳算法,解决作物生长模型参数本土化率定过程中运算量大、耗时长、精度低、效率低的问题。Li等24收集冬小麦早期冠层的时间序列图像,使用CNN和迁移学习来测试模型的泛化能力,R 2为0.82。张霞等25通过卫星影像为玉米LAI反演研究提供长时序观测数据,利用LSTM算法进行检测,发现卫星影像中玉米冠层反射率受土壤的影响,多为复杂的混合光谱,为后续探讨空间分辨率及混合像元的问题提供支持。Castro-valdecantos26对生长中的玉米进行数据收集,利用CNN深度学习模型替代现有的半自动方法来实现间接估计玉米LAI。Qiao等27为了有效提高利用多光谱遥感图像估算玉米LAI的精度,通过构建植被指数图,有效融合了与LAI相关的光谱特征和图像特征,提出了一种将深度学习模型ResNet50与植被指数图相结合的深度特征提取方法。Liu等28针对玉米、高粱和大豆三种作物提出利用LSTM构建多卫星数据提取时间序列LAI的深度学习模型,R 2达到0.83。Yang等29以甘蔗为例提出地块级时空约束策略,提高了LAI检索的准确性,均方根误差(Root Mean Square Error, RMSE)为0.93 m2/m2,能处理作物LAI图谱,并在区域尺度上显示出良好的农业应用潜力。Yamaguchi等30通过无人机获取作物RGB图像,结合CNN、ResNet、ResNeXt等算法继续处理,模型的准确度达到0.963。
作物LAI估测仍然需要解决一些挑战,比如收集大量高质量的高光谱影像数据、设计合适的深度学习架构,以充分利用高光谱数据信息等。未来主要研究方向包括:(1)强化深度学习的应用。研发新型深度学习算法,充分发挥其在图像识别和分割方面展现出强大的能力,提高LAI监测的准确性和效率。(2)多源数据融合。高光谱影像数据可以提供丰富的光谱信息,结合多光谱成像、激光雷达等多源数据,可以提供更全面的作物生长信息,提高LAI监测的准确性。深度学习算法可以通过对大量高光谱影像数据进行训练,可以自动学习地物的光谱特征与LAI之间复杂的映射关系,有效地提取植被的特征,并高精度地预测LAI值。综上所述,作物表型智能识别技术在LAI监测中虽然面临诸多挑战,但随着技术的发展和成本的降低,其在精准农业和作物管理中的应用前景十分广阔。

2.1.3 作物器官检测与计数

作物器官是作物育种过程中的重要农艺性状,其准确检测与计数是作物选种的重要依据。在作物器官检测中,通过深度学习目标检测模型构建,可快速检测出群体作物器官的数量和器官生长状态,以准确获取不同育种作物的开花期、结果期,以及数量等表型信息,也可用于评估作物种植密度和预测作物产量。目前,深度学习技术在作物的器官检测及计数方面得到了广泛应用,包括小麦31、玉米32、水稻33等。
通过图像分析和深度学习算法,可以准确地估计器官的数量和密度,为作物产量预测提供了基础。作物器官自动检测主要采用快速区域卷积神经网络(Faster Region-Based Convolutional Neural Network, Faster R-CNN)、YOLO(You Only Look Once)、CenterNet等目标检测方法或者U-Net等图像分割方法对作物的麦穗、稻穗、豆荚、雄穗等器官进行检测或分割,并统计器官的数量,为作物产量预测提供支撑。Maji等34将Mask R-CNN和U-Net相结合,研究了一种新的SlypNet方法,可以从小麦植株的视觉图像中提取植物形态特征,如穗子和小穗,准确率高达97.57%。Liu等35基于YOLOX提出了MRF-YOLO,可以用于小目标作物检测,在田间条件下对棉花棉铃进行检测,平均精度达到92.75%。Song等36使用R-CNN模型对玉米穗姿态进行检测,采用Look Twice 方法用于玉米穗部姿态信息提取,准确率为88.56%。Wang等37提出了一种基于深度学习的水稻穗检测与计数方法,用于在大图像尺寸的稻田图像中检测水稻穗,对比了不同检测模型,其中YOLOv5准确率为92.77%。Han等38提出InceptionV3-LSTM的深度学习网络,用手机拍摄3个品种田间油菜籽图像,对油菜籽果实期的田间图像进行分析,建立产量分类预测模型,准确率达到96%。Zhao等39提出了一种小米穗百分比估计方法,使用Faster-RCNN模型以应对存在多个分蘖的问题,准确率达到92.4%。Maimaitijiang等40基于无人机的多模态数据融合的能力,使用RGB、多光谱和热传感器在深度神经网络(Deep Neural Networks, DNN)框架内估计大豆产量,发现多模态数据融合提高了产量预测精度,对空间变化的适应性更强,DNN的模型在空间上表现出一致的性能,空间依赖性和变化较小,准确率达到91.30%。中国农业科学院智慧化数字化南繁技术团队在玉米雄穗检测中,构建了ESG-YOLO检测模型,实现了无人机视角下的雄穗器官检测,平均精度均值(Mean Average Precision, mAP)为93.1%,相比较YOLOv7模型的mAP提高2.3%,并且在低分辨率玉米图像和小目标检测方面效果极佳;同时,对叶片遮挡、强光照、生长密集条件、雄穗未成熟等田间环境复杂多样条件下,均能有效检测玉米雄穗,还能对玉米雄穗密度自动评估,效果如图3所示。
Fig. 3 Rendering of ESG-YOLO corn ear detection

图3 ESG-YOLO玉米雄穗检测效果图

Full size|PPT slide

深度学习在作物器官预测和产量预测方面展现出显著的潜力。随着数据地积累和算法的持续优化,未来的研究可能会集中在以下几个方向:(1)多模态数据融合。目前,相关的主要研究成果是采用图像获取器官信息。未来结合对视觉数据与其他传感器数据(如光谱、热成像等)的探索,可能会提高深度学习模型对作物器官的检测和计数能力。(2)构建轻量化模型和优化算法。研究更轻量级的深度学习模型和优化算法,减少对计算资源的需求,使得模型能够在移动设备或边缘计算设备上运行,增强检测的实时性。(3)模型的泛化与可解释性能力提升。通过增强学习和迁移学习提高模型的泛化能力和适应性,使其能够快速适应新的环境和作物类型;提高深度学习模型的解释性,使得农业专家和最终用户能够理解模型的决策过程,增加对模型的信任。(4)开展多样化的作物器官预测研究。目前已有研究主要聚焦于小麦、玉米、大豆等常见作物,未来对于产值较高的经济作物,如果树、蔬菜等器官的检测识别等的研究亟需开展。

2.2 作物整株形态结构智能识别

作物的形态结构是决定产量的关键特征,在作物育种和农业管理中发挥着至关重要的作用41。作物形态结构智能识别是指利用计算机视觉、图像处理、模式识别和深度学习等技术,对作物的形态结构进行自动化识别和分析,提取出作物的形态特征,例如叶片形状、叶片大小、叶片数量、茎干粗细等,从而实现对作物的形态结构进行分析。作物形态结构智能识别主要有作物株型识别、作物形态测量和作物三维重建。

2.2.1 作物株型识别

作物株型指的是一种作物在生长期间形态结构的整体表现,它包括了作物植株的主枝、分枝情况、茎叶夹角、株高、冠层面积、冠层体积等方面的特征,在作物生长和发展过程中具有重要影响,而且通过调整其结构可以提升作物的品质和产量42, 43
随着不同农作物株型参数研究的发展,越来越多的现代化技术手段被应用于作物株型参数提取与计算中,应用较多的是使用可见光成像及数字图像处理技术对图像进行分析,提取植物形态参数。无人机也常与其他传感器,如视觉传感器、热成像传感器等一起使用采集信息,在生成农作物三维模型的基础上计算冠层体积、花朵、果实等特征。深度学习模型可以用于识别和分类不同株型的作物品种,分析作物的生长情况,通过监测作物的生长,可以更好地理解不同株型的生长模式,并进行及时的管理和调整。
米湘成等44 提出了用于评估超级杂交水稻理想株型的方法和技术,运用图像识别技术,进行二值化、细线化处理,提取了水稻株型的骨架信息。Shyu等45利用玉米田中获取的图像测量玉米植株的表型参数方法,由于图像还原三维信息的精度有限,基于图像的提取方法在株型参数方面的精度仍有待提高。Xiang等46通过三维点云数据分析实现高粱植株形态特征的自动提取,主要是利用深度相机获取不同生育期的高粱的连续图像,并开发一种新的骨架提取算法,最后实现对高粱植株的株高、叶面积、叶夹角等参数的测量。贾奥博等47 为了实现烟草株型智能识别,采用了多种机器学习模型进行判别分析,其中使用Stacking集成学习技术的方法在株型识别中取得了93.7%的准确率,提高了株型识别的精确度。
不同品种作物以及不同作物的株型形态差异较大,且同一作物在不同生长阶段也会有变化,因此如何建立适用于不同作物和不同生长阶段的深度学习模型是一个挑战。作物株型识别需要综合考虑光照、遮挡、拍摄角度等因素,不同因素会对识别结果产生影响。获取株型数据后需要进行实时处理,因此如何提高模型的计算效率和实时性能是一个重要的改进方向。深度学习在作物株型识别方面研究较少,模型需要能够在多个尺度上捕捉特征,以实现更精确的株型检测。

2.2.2 作物形态测量

形态测量是通过仪器对作物的形态特征进行量化评估与分析,包括叶片轮廓、分枝等48。通过对作物图像进行处理和分析,或者利用激光扫描等技术,可以获得作物的形态数据,如叶片长度、宽度、面积,茎干高度、粗细,果实大小、形状、重量,植株高度以及分枝数量和长度等。对作物形态进行测量能够了解作物的生长状态,可以根据检测情况调整灌溉、施肥和病虫害防治等措施,以最大限度地提高农作物的生长和产量。
基于三维点云作物形态的测量使用三维扫描仪或其他传感器从多个角度捕获作物表面的点云数据,如叶片、茎和夹角等49。目前三维点云分割技术主要分为区域生长、特征聚类、模型拟合和基于深度学习的方法这四大类50。近年作物三维点云作物形态智能测量的主要研究进展见表1
Table 1 Research on intelligent perception of crop morphology based on deep learning in recent years

表1 近年作物三维点云作物形态智能感知研究情况

编号 作者 作物种类 测量指标 重构方法 准确率R2/%
1 Ma 等51 大豆 株高,叶面积指数 beer-lambert law > 94.00
2 Wu等52 小麦 株高,叶面积,投影面积,枝条体积和致密度 MVS-Pheno V2 > 96.00
3 Zhang等53 玉米、大豆 叶片倾斜角度和方向测量 3D calibration approach 76.00、94.00
4 Ao等54 玉米 茎位置精度,株高,冠宽和叶面积 PointCNN > 85.00
5 Li等55 玉米 叶长,叶宽,叶倾角,叶长高,株高和茎高 PointNet > 82
6 Gong等56 水稻 茎的直径,茎的长度,穗的长、高、宽,主穗小穗 Panicle-3D 93.4
7 杨琳等57 油菜 叶片,角果 超体素算法 93.38
机器人技术和传感器网络可以用来自动采集作物三维点云数据,并进行数据处理和分析,从而减少人工操作和时间成本,提高数据处理的效率和可操作性。深度学习的三维点云实例分割和语义分割处于发展阶段,深度学习模型可以处理不同区域的点云数据,从而适应点云中的不同密度和尺度变化。深度学习在作物形态测量中的应用面临着模型泛化能力、计算资源依赖性、模型解释性以及多源数据融合处理等挑战,需要不断优化和创新深度学习算法,例如通过迁移学习、模型压缩、数据增强等技术来提高模型的性能和效率;有效地融合多源数据,多尺度处理,有助于更好地理解整个三维场景,提高测量的准确性和鲁棒性;开发新的深度学习架构、利用半监督学习和无监督学习方法减少对标注数据的依赖,以及结合传统机器学习方法提高模型的泛化能力等。

2.3 存在的主要挑战

作物农艺性状与形态结构智能感知取得了快速发展,但仍存在以下几方面的挑战。
(1)环境的干扰和作物动态生长,导致作物信息准确获取困难。作物生长田间环境复杂多变,光照条件差(如阴影、反射和不均匀光照)、背景干扰、遮挡,以及作物品种多样性等因素都会影响农艺性状感知信息的质量和获取效率。作物随时间变化生长很快,需要高频率的监测和高精度的传感器捕捉这些动态变化。这些都可能影响智能感知信息的准确性。
(2)对数据规模、多样性、预处理要求高。高通量表型信息采集技术产生的海量数据,对数据地储存、管理和分析具有更高要求。作物叶片的重叠、遮挡、病虫害以及不同生长阶段的形态变化导致作物器官在形态、大小、颜色上存在较大差异,增加了数据处理的难度,需要高精度的图像分割、点云分割和特征提取技术。高质量的标注数据对于训练准确的深度学习模型至关重要,但获取这些数据目前主要依赖人工,耗时耗力,缺少针对农业的自动化标注工具。
(3)模型轻量化程度与泛化能力仍需提高。准确解释收集到的农艺性状数据,以便将其转化为实际的农业决策。而在建立作物农艺性状分析模型时,需要考虑多方面因素,如不同作物的生长环境、生长周期和生长方式、表型信息采集传感器精度等,因此需要在模型训练过程中考虑这些差异,还需要结合其他农业知识和经验,以提高模型的精度和稳定性。这要求模型能够适应多样农业环境和多种作物类型,以增强其泛化性能。利用同一种模型即可监测多种作物和不同检测场景,节省监测成本。农业机器人和其他自动化系统通常需要实时或近实时感知并做出决策,而深度学习模型尤其是大型模型往往需要大量的计算资源,这可能限制了他们在资源受限的设备上的应用。
总之,尽管作物表型智能识别技术在作物株高测量、作物LAI获取以及作物器官计数等作物农艺性状表型智能监测方面具有巨大潜力,但实现其全范围应用仍需克服较多的挑战。随着技术的进步和成本的降低,逐渐克服这些挑战,从而推动作物表型测量的自动化、实时化和精准化。

3 作物三维重建研究进展

3.1 研究进展

作物三维重建技术是基于计算机和图像处理技术,通过从多角度捕获图像进行分析处理,构建数字化的作物三维模型,可以更精确地分析作物的生长状况和形态特征58。三维重建使得对作物生长规律的定量化研究成为可能,研究人员能够详细监测和分析作物生长过程中的每一个阶段,使得作物的形态特征、生长速率、生物量分布等关键参数可以被精确测量和记录,充分掌握作物的生长机理和发展。作物三维重建的方法大致可以分为四类:基于规则的方法、基于图像的方法、基于三维扫描技术的方法和基于数字化仪器的方法59
基于规则的方法是通过对作物的生长规律和形态特征进行分析,利用数学模型和计算机算法进行重构。该算法比较复杂,使用过程中会受到人工因素的影响,从而使重建后的形态结构与实际的作物生长有很大的偏差。这种方法适用于形态规则较为简单的作物,如玉米60、小麦等。
基于图像的三维重建技术主要通过对二维图像深度分析和处理,利用模型识别和计算机视觉算法,将图像转换为三维模型,这一方法通常涉及单目、双目或多目视觉系统61, 62。主要适用于水稻、棉花63等。
三维立体数字测量仪是获取作物三维数据的高精度测量设备,主要由探头、扫描设备和处理软件组成,通过使用三维扫描仪对作物进行扫描,能够精确捕捉作物的三维形态,使用专业软件实现三维模型的构建64。这种方法适用于作物形态较为复杂、纹理丰富的情况,如果树65、葡萄等。
基于数字化仪的方法是通过使用数字化仪对作物进行测量,获取作物的三维坐标数据,再利用计算机算法对数据进行重构分析。这种方法适用于形态规则、纹理简单的作物,如马铃薯、甘蔗等。
多视觉系统可以结合多种设备,例如激光三维扫描仪、三维数字化仪等,来获取更全面的作物信息,然后采用图像识别和处理技术进行预处理,再采用模式识别、机器视觉等技术对植物进行三维重建。近年来,作物三维重建主要研究成果集中于玉米、水稻、谷子、油菜等常见作物,相关成果见表2
Table 2 Researches on three-dimensional reconstruction of crops in recent years

表2 近年作物三维重建研究成果

编号 作者 采集设备 作物种类 重构方法 准确率R 2/%
1 Ma等66 RGB相机 大豆 形状特征--相干点漂移(Intrinsic Shape Signatures-Coherent Point Drift, ISS-CPD)算法和迭代最接近点(Iterative Closest Point, ICP)算法 96.54
2 Li等67 相机 玉米 欧氏聚类算法、颜色滤波算法和点云体素滤波算法 >92.60
3 魏天翔等68 相机 水稻 DeepLabv3+ > 89.00
4 Zhu 等69 相机 玉米 三维辐射模型 >97.00
5 史维杰70 相机 谷子 运动恢复结构的稀疏重建、多视角立体几何 > 94.00
6 Ma等71 三维激光扫描仪 玉米 网格法 >89.07
7 Sun等72 相机 大豆 U-net 99.53

3.2 存在的挑战

作物的三维重建研究在作物育种、病虫害监测、产量评估等领域具有重要应用价值,但在实际研究和应用中面临着一系列挑战。
(1)复杂环境下的数据采集。作物生长在多变的自然环境中,受到光照、天气、土壤等多种因素的影响,这使得获取高质量的三维数据变得困难。应用多传感器融合技术,结合多种传感器(如激光雷达、光学相机、红外相机等)的数据,可以提高三维重建的准确性和鲁棒性。
(2)作物结构的复杂性。作物具有复杂的结构,包括茎、叶、花、果实等多个部分,且这些部分之间的相互关系和空间排列复杂,并且处于生长变化状态,增加了三维重建的难度。采用动态建模对作物生长过程的结构特征提取和分析,实时更新作物的形态变化,从而更准确地重建作物的三维结构。
(3)数据处理与算法优化。现有的三维重建技术在处理大量数据时面临计算效率和准确性的挑战,需要进一步优化算法以提高重建速度和精度。而且作物种类繁多,不同作物的形态特征和生长模式差异显著,如何构建具有良好泛化能力的三维重建模型是一个难题。利用深度学习算法对作物的形态特征进行学习和识别,可以提高三维重建的自动化程度和处理速度。通过云计算和边缘计算技术,在云端进行大规模数据处理,同时在本地设备上进行快速处理和决策,可提高系统的响应速度和数据处理能力。
(4)成本与实用性。目前高精度的三维扫描设备价格高昂,如何开发成本低、效益高的三维重建技术,使其在农业生产中得到广泛应用,是需要考虑的问题。推动建立作物三维重建的标准化流程和模块化工具,提高技术的通用性和易用性,鼓励计算机科学、农业科学、机械工程等不同领域的专家跨学科合作研发新型低成本设备,开发开源软件和共享平台,促进数据和资源的共享,能够加速三维重建技术的研究和应用进程,降低应用门槛。

4 作物表型发展展望

随着深度学习技术不断规模化、数字化、智慧化,以及相应作物表型平台与传感器设备硬件的不断更新,基于深度学习的作物表型识别方法与技术有着较强的实际应用可行性。未来研究还需以视觉感知与深度学习方法研究为基础,突破高通量作物表型组学技术瓶颈,进而实现作物表型信息的智慧获取与表型数据的智能管理。近年来,研究人员利用表型平台和感知成像设备,结合大数据、机器学习、深度学习等信息技术对作物表型进行识别与检测,以及植株的三维重建,使作物表型获取的准确率不断提高,但在实际应用中,作物表型识别和三维重建仍然面临着诸多挑战,未来仍需开展相关研究。
(1)研发新型田间智能作物表型获取与分析装备。应对大规模育种材料在田间试验中表型信息的自动化获取,将深度学习技术与田间作物表型识别和分析相结合,是解决当前检测器定位不准确、识别模型精度不高、算法泛化能力弱,以及难以构建大型数据集等问题的有效途径,能够产生适应复杂自然环境和不同生长阶段作物的模型算法,并且适用于实际的大田作业环境;通过融合现代信息技术和智能设备,可以开发出适合田间使用的智能表型识别机械设备,是该领域未来的主要研究方向;降低表型数据获取与分析平台的成本,是技术广泛应用实现大规模部署的关键因素。研发性价比高的传感器、设备和软件,通过共享服务和设备租赁等方式提高设备利用率,简化数据处理流程,利用云计算平台提供数据存储、处理和分析服务,降低本地硬件和软件的维护成本。争取政府补贴、科研资助和社会捐赠降低表型获取与分析平台的研发与建设成本。
(2)提升作物表型获取田间环境的标准化与一致性水平。复杂的田间环境导致作物表型数据质量不统一,需推动作物表型数据标准化获取和数据共享平台的建立,提高数据资源利用率。制定行业标准或更高层次标准,制定严格的田间数据采集标准和操作流程,确保在不同环境和条件下采集的数据具有可比性。开发和使用高通量表型平台环境控制系统,快速、准确地测量作物的多种表型特征,减少人为误差和环境变异的影响。鼓励数据共享和跨学科协作,通过整合不同研究团队和机构的数据资源,提高数据的广度和深度,同时增加数据的多样性和代表性。
(3)强化田间作物表型智能识别模型的通用性。基于深度学习作物表型识别模型参数量多、模型大,在边缘计算等计算资源受限制条件下部署应用难度大,需对模型进行压缩、轻量化、剪枝等技术处理。增加建立通用性强的深度学习模型,适应不同情境的变化。泛化深度学习到不同的农田和作物品种,以确保模型在新的环境和条件下表现出良好的预测能力。同时,需综合考虑模型对于输入数据的变化和噪声的容忍程度,以及在实际应用中具有较高的可靠性、效率和安全性等方面的问题,以满足实际应用的实时性和实用性的要求。
(4)多视角、多模态、多点连续分析与时空特征融合的作物表型识别方法成为新的研究热点。充分考虑不同视角下作物信息地融合,不同地点作物生长的时空特性,将深度信息、热红外信息、近红外光谱信息、紫外信息、荧光信息等多模态信息进行结合,形成不同生育期的作物表型时空关联性特征,可以更好地了解作物生长过程和特征变化,这也是解决作物表型识别问题的重要方向。
(5)作为端到端具有高度非线性复杂的作物表型识别深度模型,“黑匣子”是一个重大挑战,作物表型识别深度学习模型可解释性研究将成为重要研究方向。可解释性算法可以辅助解决多种实际问题,如弱监督定位、数据集偏见检测、小样本学习等,通过使用可解释性算法来优化表型识别模型。模型的全局可解释性和局部可解释性研究可提高模型的透明度和可重复性,模型全局可解释性算法可以获得模型的整体知识表达,局部可解释性算法可以清楚地了解到模型在决策过程中所依赖的特征,这些研究将有助于解决作物表型识别深度学习模型的选择和实施的挑战。
此外,大模型技术的快速发展为作物表型获取与三维重建提供了强大的数据支持和分析能力。通过处理和分析海量的作物表型数据,识别和分类作物的表型特征,整合基因型和表型数据,预测和模拟作物生长等,提高农业生产的效率和智能化水平。

References

1
王晓鸣, 邱丽娟, 景蕊莲, 等. 作物种质资源表型性状鉴定评价:现状与趋势[J]. 植物遗传资源学报, 2022, 23(1): 12-20.
WANG X M, QIU L J, JING R L, et al. Evaluation on phenotypic traits of crop germplasm: Status and development[J]. Journal of plant genetic resources, 2022, 23(1): 12-20.
2
潘朝阳, 陆展华, 刘维, 等. 表型组学研究进展及其在作物研究中的应用[J]. 广东农业科学, 2022, 49(9): 105-113.
PAN C Y, LU Z H, LIU W, et al. Advances in phenomics and its application in crop research[J]. Guangdong agricultural sciences, 2022, 49(9): 105-113.
3
KHAK POUR M, FOTOUHI R, HUCL P, et al. Development of a mobile platform for field-based high-throughput wheat phenotyping[J]. Remote sensing, 2021, 13(8): ID 1560.
4
ERASLAN G, AVSEC Ž, GAGNEUR J, et al. Deep learning: New computational modelling techniques for genomics[J]. Nature reviews genetics, 2019, 20: 389-403.
5
WAINBERG M, SINNOTT-ARMSTRONG N, MANCUSO N, et al. Opportunities and challenges for transcriptome-wide association studies[J]. Nature genetics, 2019, 51: 592-599.
6
SENGUPTA S, BASAK S, SAIKIA P, et al. A review of deep learning with special emphasis on architectures, applications and recent trends[J]. Knowledge-based systems, 2020, 194: ID 105596.
7
周济, TardieuFrancois, PridmoreTony, 等. 植物表型组学: 发展、现状与挑战[J]. 南京农业大学学报, 2018, 41(4): 580-588.
ZHOU J, TARDIEU F, PRIDMORE T, et al. Plant phenomics: History, present status and challenges[J]. Journal of Nanjing agricultural university, 2018, 41(4): 580-588.
8
温维亮, 郭新宇, 张颖, 等. 作物表型组大数据技术及装备发展研究[J]. 中国工程科学, 2023, 25(4): 227-238.
WEN W L, GUO X Y, ZHANG Y, et al. Technology and equipment of big data on crop phenomics[J]. Strategic study of CAE, 2023, 25(4): 227-238.
9
NDUKU L, MUNGHEMEZULU C, MASHABA-MUNGHEMEZULU Z, et al. Global research trends for unmanned aerial vehicle remote sensing application in wheat crop monitoring[J]. Geomatics, 2023, 3(1): 115-136.
10
POORTER H, HUMMEL G M, NAGEL K A, et al. Pitfalls and potential of high-throughput plant phenotyping platforms[J]. Frontiers in plant science, 2023, 14: ID 1233794.
11
左超, 冯世杰, 张翔宇, 等. 深度学习下的计算成像: 现状、挑战与未来[J]. 光学学报, 2020, 40(1): ID 0111003.
ZUO C, FENG S J, ZHANG X Y, et al. Deep learning based computational imaging: Status, challenges, and future[J]. Acta optica sinica, 2020, 40(1): ID 0111003.
12
DEERY D M, REBETZKE G J, JIMENEZ-BERNI J A, et al. Ground-based LiDAR improves phenotypic repeatability of above-ground biomass and crop growth rate in wheat[J]. Plant phenomics, 2020, 2020: ID 8329798.
13
FILIPPO S G D, PIERO T, MATTEO G, et al. Spectral comparison of UAV-based hyper and multispectral cameras for precision viticulture[J]. Remote sensing,2022,14(3): ID 449.
14
梁永检, 吴文志, 施泽升, 等. 基于无人机RGB遥感的甘蔗株高估测[J]. 作物杂志, 2023(1): 226-232.
LIANG Y J, WU W Z, SHI Z S, et al. Estimation of sugarcane plant height based on UAV RGB remote sensing[J]. Crops, 2023(1): 226-232.
15
郭涛, 颜安, 耿洪伟. 基于无人机影像的小麦株高与LAI预测研究[J]. 麦类作物学报, 2020, 40(9): 1129-1140.
GUO T, YAN A, GENG H W. Prediction of wheat plant height and leaf area index based on UAV image[J]. Journal of triticeae crops, 2020, 40(9): 1129-1140.
16
HERRERO-HUERTA M, GONZALEZ-AGUILERA D, YANG Y. Structural component phenotypic traits from individual maize skeletonization by UAS-based structure-from-motion photogrammetry[J]. Drones, 2023, 7(2): ID 108.
17
XU W C, YANG W G, WU J H, et al. Canopy laser interception compensation mechanism: UAV LiDAR precise monitoring method for cotton height[J]. Agronomy, 2023, 13(10): ID 2584.
18
ZHOU L F, GU X H, CHENG S, et al. Analysis of plant height changes of lodged maize using UAV-LiDAR data[J]. Agriculture, 2020, 10(5): ID 146.
19
HARKEL JTEN, BARTHOLOMEUS H, KOOISTRA L. Biomass and crop height estimation of different crops using UAV-based lidar[J]. Remote sensing, 2019, 12(1): ID 17.
20
杨进, 明博, 杨飞, 等. 利用无人机影像监测不同生育阶段玉米群体株高的精度差异分析[J]. 智慧农业(中英文), 2021, 3(3): 129-138.
YANG J, MING B, YANG F, et al. The accuracy differences of using unmanned aerial vehicle images monitoring maize plant height at different growth stages[J]. Smart agriculture, 2021, 3(3): 129-138.
21
CAI S, GOU W, WEN W, et al. Design and development of a low-cost UGV 3D phenotyping platform with integrated LiDAR and electric slide rail[J]. Plants (basel), 2023, 12(3): ID 483.
22
BRONSON K F, FRENCH A N, CONLEY M M, et al. Use of an ultrasonic sensor for plant height estimation in irrigated cotton[J]. Agronomy journal, 2021, 113(2): 2175-2183.
23
聂志刚, 李广, 王钧, 等. 基于APSIM模型旱地小麦叶面积指数相关参数的优化[J]. 中国农业科学, 2019, 52(12): 2056-2068.
NIE Z G, LI G, WANG J, et al. Parameter optimization for the simulation of leaf area index of dryland wheat with the APSIM model[J]. Scientia agricultura sinica, 2019, 52(12): 2056-2068.
24
LI Y X, LIU H J, MA J C, et al. Estimation of leaf area index for winter wheat at early stages based on convolutional neural networks[J]. Computers and electronics in agriculture, 2021, 190: ID 106480.
25
张霞, 陶诗语, 张茂. 基于LSTM算法的FY-3B卫星春玉米叶面积指数反演[J]. 吉林大学学报(地球科学版), 2022, 52(6): 2071-2080.
ZHANG X, TAO S Y, ZHANG M. FY-3B satellite spring maize leaf area index inversion based on LSTM algorithm[J]. Journal of Jilin university (earth science edition), 2022, 52(6): 2071-2080.
26
CASTRO-VALDECANTOS P, APOLO-APOLO O E, PÉREZ-RUIZ M, et al. Leaf area index estimations by deep learning models using RGB images and data fusion in maize[J]. Precision agriculture, 2022, 23(6): 1949-1966.
27
QIAO L, ZHAO R M, TANG W J, et al. Estimating maize LAI by exploring deep features of vegetation index map from UAV multispectral images[J]. Field crops research, 2022, 289: ID 108739.
28
LIU T, JIN H A, LI A N, et al. Estimation of vegetation leaf-area-index dynamics from multiple satellite products through deep-learning method[J]. Remote sensing, 2022, 14(19): ID 4733.
29
YANG Y P, HUANG Q T, WU Z F, et al. Mapping crop leaf area index at the parcel level via inverting a radiative transfer model under spatiotemporal constraints: A case study on sugarcane[J]. Computers and electronics in agriculture, 2022, 198: ID 107003.
30
YAMAGUCHI T, TANAKA Y, IMACHI Y, et al. Feasibility of combining deep learning and RGB images obtained by unmanned aerial vehicle for leaf area index estimation in rice[J]. Remote sensing, 2020, 13(1): ID 84.
31
HUANG H, HUANG J X, FENG Q L, et al. Developing a dual-stream deep-learning neural network model for improving county-level winter wheat yield estimates in China[J]. Remote sensing, 2022, 14(20): ID 5280.
32
MA Y C, ZHANG Z, KANG Y H, et al. Corn yield prediction and uncertainty analysis based on remotely sensed variables using a Bayesian neural network approach[J]. Remote sensing of environment, 2021, 259: ID 112408.
33
HAN X, LIU F, HE X, et al. Research on rice yield prediction model based on deep learning[J]. Comput intell neurosci, 2022, 2022: ID 1922561.
34
MAJI A K, MARWAHA S, KUMAR S, et al. SlypNet: Spikelet-based yield prediction of wheat using advanced plant phenotyping and computer vision techniques[J]. Frontiers in plant science, 2022, 13: ID 889853.
35
LIU Q H, ZHANG Y, YANG G P. Small unopened cotton boll counting by detection with MRF-YOLO in the wild[J]. Computers and electronics in agriculture, 2023, 204: ID 107576.
36
SONG C Y, ZHANG F, LI J S, et al. Precise maize detasseling base on oriented object detection for tassels[J]. Computers and electronics in agriculture, 2022, 202: ID 107382.
37
WANG X Y, YANG W N, LV Q C, et al. Field rice panicle detection and counting based on deep learning[J]. Frontiers in plant science, 2022, 13: ID 966495.
38
HAN S J, LIU J X, ZHOU G S, et al. InceptionV3-LSTM: A deep learning net for the intelligent prediction of rapeseed harvest time[J]. Agronomy, 2022, 12(12): ID 3046.
39
ZHAO B Q, KHOUND R, GHIMIRE D, et al. Heading percentage estimation in proso millet (Panicum miliaceum L.) using aerial imagery and deep learning[J]. The plant phenome journal, 2022, 5(1): ID e20049.
40
MAIMAITIJIANG M, SAGAN V, SIDIKE P, et al. Soybean yield prediction from UAV using multimodal data fusion and deep learning[J]. Remote sensing of environment, 2020, 237: ID 111599.
41
LIU F, WANG P D, ZHANG X B, et al. The genetic and molecular basis of crop height based on a rice model[J]. Planta, 2018, 247(1): 1-26.
42
WANG Y R, CHEN J L, WU F Q, et al. Optimizing plant type structure to adjust the temporal and spatial distribution of water consumption and promote the growth and yield formation of cotton[J]. European journal of agronomy, 2023, 147: ID 126850.
43
王文广, 王永红.作物株型与产量研究进展与展望[J].中国科学:生命科学,2021,51(10):1366-1375.
WANG W G, WANG Y H. Crop plant architecture and grain yields[J].Scientia sinica(Vitae),2021,51(10):1366-1375.
44
米湘成, 邹应斌, 赵炳然, 等. 超级杂交水稻理想株型图像识别的探讨[J]. 湖南农业大学学报(自然科学版), 2001, 27(2): 151-153.
MI X C, ZOU Y B, ZHAO B R, et al. Image analysis on rice morphology discrimination in super hybrid rice[J]. Journal of Hunan agricultural university, 2001, 27(2): 151-153.
45
SHYU C R, GREEN J M, LUN D P K, et al. Image analysis for mapping immeasurable phenotypes in maize [life sciences[J]. IEEE signal processing magazine, 2007, 24(3): 115-118.
46
XIANG L R, BAO Y, TANG L, et al. Automated morphological traits extraction for sorghum plants via 3D point cloud data analysis[J]. Computers and electronics in agriculture, 2019, 162(C): 951-961.
47
贾奥博, 董天浩, 张彦, 等. 基于三维点云和集成学习的大田烟草株型特征识别[J]. 浙江大学学报(农业与生命科学版), 2022, 48(3): 393-402.
JIA A B, DONG T H, ZHANG Y, et al. Recognition of field-grown tobacco plant type characteristics based on three-dimensional point cloud and ensemble learning[J]. Journal of Zhejiang university (agriculture and life sciences), 2022, 48(3): 393-402.
48
ZHENG C W, ABD-ELRAHMAN A, WHITAKER V. Remote sensing and machine learning in crop phenotyping and management, with an emphasis on applications in strawberry farming[J]. Remote sensing, 2021, 13(3): ID 531.
49
ZHANG R, LI G Y, WUNDERLICH T, et al. A survey on deep learning-based precise boundary recovery of semantic segmentation for images and point clouds[J]. International journal of applied earth observation and geoinformation, 2021, 102: ID 102411.
50
许安宁. 基于深度学习的三维点云语义分割方法综述[J]. 长江信息通信, 2021, 34(1): 59-62.
XU A N. A survey of semantic segmentation of 3D point clouds based on deep learning[J]. Changjiang information & communications, 2021, 34(1): 59-62.
51
MA X D, WEI B X, GUAN H O, et al. A method of calculating phenotypic traits for soybean canopies based on three-dimensional point cloud[J]. Ecological informatics, 2022, 68: ID 101524.
52
WU S, WEN W, GOU W, et al. A miniaturized phenotyping platform for individual plants using multi-view stereo 3D reconstruction[J]. Frontiers in plant science, 2022, 13: ID 897746.
53
ZHANG L, JIN J, WANG L, et al. Elimination of leaf angle impacts on plant reflectance spectra using fusion of hyperspectral images and 3D point clouds[J]. Sensors (basel), 2022, 23(1): ID 44.
54
AO Z R, WU F F, HU S H, et al. Automatic segmentation of stem and leaf components and individual maize plants in field terrestrial LiDAR data using convolutional neural networks[J]. The crop journal, 2022, 10(5): 1239-1250.
55
LI Y L, WEN W L, MIAO T, et al. Automatic organ-level point cloud segmentation of maize shoots by integrating high-throughput data acquisition and deep learning[J]. Computers and electronics in agriculture, 2022, 193: ID 106702.
56
GONG L, DU X, ZHU K, et al. Panicle-3D: Efficient phenotyping tool for precise semantic segmentation of rice panicle point cloud[J]. Plant phenomics, 2021, 2021: ID 9838929.
57
杨琳, 翟瑞芳, 阳旭, 等. 结合超体素和区域增长的植物器官点云分割[J]. 计算机工程与应用, 2019, 55(16): 197-203.
YANG L, ZHAI R F, YANG X, et al. Segmentation of plant organs point clouds through super voxel-based region growing methodology[J]. Computer engineering and applications, 2019, 55(16): 197-203.
58
PAN Y, HAN Y, WANG L, et al. 3D reconstruction of ground crops based on airborne LiDAR technology[J]. IFAC-PapersOnLine, 2019, 52(24): 35-40.
59
LI Z B, GUO R H, LI M, et al. A review of computer vision technologies for plant phenotyping[J]. Computers and electronics in agriculture, 2020, 176: ID 105672.
60
周静静. 基于多视角图像的玉米植株三维重建技术研究[D]. 上海: 上海海洋大学, 2019.
ZHOU J J. Research on 3d reconstruction technology of maize plants based on multi-view images[D].Shanghai: Shanghai Ocean University, 2019.
61
DUAN T, CHAPMAN S C, HOLLAND E, et al. Dynamic quantification of canopy structure to characterize early plant vigour in wheat genotypes[J]. Journal of experimental botany, 2016, 67(15): 4523-4534.
62
SHAFIEKHANI A, KADAM S, FRITSCHI F B, et al. Vinobot and vinoculer: Two robotic platforms for high-throughput field phenotyping[J]. Sensors (basel), 2017, 17(1): ID E214.
63
ALVES N A, SOUZA S W, BORGES L D. Cotton pests classification in field-based images using deep residual networks[J]. Computers and electronics in agriculture,2020,174: ID 105488
64
YANG H H, WANG X C, SUN G X. Three-dimensional morphological measurement method for a fruit tree canopy based on kinect sensor self-calibration[J]. Agronomy, 2019, 9(11): ID 741.
65
EUGENE K, XING W, CHAO C. Obscured tree branches segmentation and 3D reconstruction using deep learning and geometrical constraints[J]. Computers and electronics in agriculture, 2023, 210: ID 107884
66
MA X D, WEI B X, GUAN H O, et al. A method for calculating and simulating phenotype of soybean based on 3D reconstruction[J]. European journal of agronomy, 2024, 154: ID 127070.
67
LI Y, LIU J, ZHANG B, et al. Three-dimensional reconstruction and phenotype measurement of maize seedlings based on multi-view image sequences[J]. Frontiers in plant science, 2022, 13: ID 974339.
68
魏天翔, 汪小旵, 施印炎, 等. 基于三维重建的秸秆地单株水稻生长形态检测研究[J]. 南京农业大学学报, 2021, 44(6): 1197-1208.
WEI T X, WANG X C, SHI Y Y, et al. Detection of single rice early growth morphology based on 3D reconstruction under straw returning condition[J]. Journal of Nanjing agricultural university, 2021, 44(6): 1197-1208.
69
ZHU B L, LIU F S, XIE Z W, et al. Quantification of light interception within image-based 3-D reconstruction of sole and intercropped canopies over the entire growth season[J]. Annals of botany, 2020, 126(4): 701-712.
70
史维杰. 基于三维模型的谷子表型特征分析研究[D]. 太谷: 山西农业大学, 2020. SHI W J. Analysis and research of millet phenotype features based on 3D model[D].Taigu: Shanxi Agricultural University, 2020.
71
MA X, ZHU K, GUAN H, et al. Calculation method for phenotypic traits based on the 3D reconstruction of maize canopies[J]. Sensors (basel), 2019, 19(5): ID E1201.
72
SUN Y Z, MIAO L X, ZHAO Z M, et al. An efficient and automated image preprocessing using semantic segmentation for improving the 3D reconstruction of soybean plants at the vegetative stage[J]. Agronomy, 2023, 13(9): ID 2388.

Funding

project of Sanya Yazhou Bay Science and Technology City(SCKJ-JYRC-2023-45)
Sanya Chinese Academy of Agricultural Sciences National South Breeding Research Institute South Breeding Special Project(YBXM2409)
National Key Research and Development Plan(2022YFF0711805)
Central Public-interest Scientific Institution Basal Research Fund(JBYW-AII-2024-05)
Agricultural Science and Technology Innovation Project of CAAS(CAAS-ASTIP-2024-AII)
Scientific Research Project of Zhejiang Provincial Education Department(Y202248622)

RIGHTS & PERMISSIONS

copyright©2024 by the authors
Share on Mendeley
PDF(1298 KB)

Collection(s)

Reviews

348

Accesses

0

Citation

Detail

Sections
Recommended

/