The challenge of robust trait estimates with Deep Learning on high resolution RGB images | Le défi de l'estimation robuste des traits avec l'apprentissage profond sur des images RVB à haute résolution

anglais. High throughput plant phenotyping, especially in the context of open field acquisitions, relies on the interpretation of data from different sensors implemented on various vectors such as tractors, robots or drones. Initially, these data were interpreted using remote sensing algorithms that exploit the spatial resolution of the signal. Since 2015, however, progresses of "Deep Learning", based on the training on examples, has already obtained promising results for measuring the rate of cover, counting plants or organs. It uses learned convolution layers, can take advantage of the spatial organization of the signal. The advantage of these methods is that they are based on Red-Green-Blue (RGB) sensors, which are much less expensive than multi- or hyperspectral imagers. However, these methods are sensitive to changes in the distribution between the data used in training and the predicted data. In practice, variable prediction errors from site to site can be observed using these methods. The objective of the thesis is to understand the causes of these variations and propose solutions for reliable phenotypic trait estimates using Deep Learning. The study focuses on detecting plants and organs from high-resolution RGB images acquired in the field. Our work first focused on the constitution of diversified image databases from different locations and stages of development for plant emergence (maize, beet, sunflower) and wheat ears, which allowed the publication of two annotated databases, grouping 27 acquisition sessions for the drone and 47 for the ear detection. The datasets demonstrate the performances difference between the published results and ours due to the change in distribution. To go beyond the limits of the usual methods, we organized two data competitions, the Global Wheat Challenges, in 2020 and 2021, which allowed us to obtain solutions trained for robustness on a different data set than the training one. The analysis of the solutions showed the importance of the training strategies for robustness beyond the architectures used. We have also shown that these solutions can be effectively deployed as a replacement for manual counting. Finally, we have demonstrated the inefficiency of training functions designed for robust training. Our work opens the prospect of a better evaluation of Deep Learning in the context of high-throughput phenotyping and thus of confidence in its use in real-life conditions.

français. Le phénotypage à haut débit des plantes, notamment dans le cadre d'acquisitions en plein champ, repose sur l'interprétation de données issues de différents capteurs mis en œuvre sur des vecteurs variés tels que des tracteurs, des robots ou des drones. Initialement, ces données étaient interprétées à l'aide d'algorithmes de télédétection exploitant la résolution spectrale du signal. Mais depuis 2015, les progrès du "Deep Learning", basé sur l'entrainement à partir d’exemples, ont permis des résultats prometteurs pour mesurer des traits essentiels comme le taux de couverture ou le comptage de plantes ou d’organes. Ces algorithmes utilisent des couches de convolution apprises, permettant de tirer parti de l'organisation spatiale du signal. L'avantage de ces méthodes est qu'elles sont basées sur des capteurs Rouge-Vert-Bleu (RVB), qui sont beaucoup moins coûteux que les imageurs multi- ou hyperspectraux. Cependant, les algorithmes de Deep Learning sont sensibles aux changements de la distribution entre les données utilisées pour l’entrainement et les données prédites. En pratique, des erreurs de prédiction variables et non prédictibles d'un site à l'autre peuvent être observées. L'objectif de la thèse est de comprendre les causes de ces variations et de proposer des solutions pour des estimations de traits phénotypiques fiables en utilisant le Deep Learning. L'étude porte sur la détection de plantes et d'organes à partir d'images RVB haute résolution acquises sur le terrain. Nos travaux ont d'abord porté sur la constitution de bases de données d'images diversifiées provenant de différents lieux et stades de développement pour l'émergence de plantes (maïs, betterave, tournesol) et les épis de blé, ce qui a permis la publication de deux bases de données annotées, regroupant 27 sessions d'acquisition pour le drone et 47 pour la détection d'épis. Ces jeux de données démontrent la différence de performances entre les résultats publiés et les nôtres en raison du changement de distribution. Pour dépasser les limites des méthodes habituelles, nous avons organisé deux concours de données, les Global Wheat Challenges, en 2020 et 2021, qui nous ont permis d'obtenir des solutions entraînées pour la robustesse sur un jeu de données différent de celui de l'entraînement. L'analyse des solutions a montré l'importance des stratégies d'entraînement pour la robustesse au-delà des architectures utilisées. Nous avons également montré que ces solutions peuvent être déployées efficacement en remplacement du comptage manuel. Enfin, nous avons démontré l'inefficacité des fonctions d'entraînement conçues pour l'entraînement robuste. Notre travail ouvre la perspective d'une meilleure évaluation du Deep Learning dans le contexte du phénotypage à haut débit et donc de la confiance dans son utilisation en conditions réelles. Végétal ED 536-Spécialité Sciences Agronomiques