Application of convolutional neural networks for fruit drop detection in apple trees | Применение свёрточных нейронных сетей для учёта опадения плодов яблони

anglais. The use of machine learning algorithms to account for the fall of the set fruits will allow creating models for predicting potential yields. A possibility of using the method for Transfer Learning of Convolutional Neural Networks (CNNs) models for recognizing and classifying set apple fruits on images, assessing the degree of fruit fall followed by estimating the yield. The study involved modern YOLOv8x-n models, which were categorized by complexity it regard to the number of parameters. A set of images of fruit ovaries (2000 pieces) of the Marat Busurin variety harvested in an industrial garden using an action camera GoPro HERO 11 has been formed and annotated. For training CNN models and analyzing results various software tools and libraries, including CUDA, TensorFlow, Keras, PyArrow, NumPy, OpenCV, matplotlib, etc. were used, NVIDIA Tesla T4 graphics card is used. Precision and Recall metrics obtained during Neural Networks model training were used to evaluate the performance of YOLOv8x-n models, as well as to calculate the average precision (mAP50) at each training epoch. Each recognized object in test images was classified and enclosed in a bounding box, allowing for result visualization. Recognition and classification of fruit set on an industrial plantation enables quantitatively accounting with an average precision of at least 0.63 mAP. The average frame processing speed by trained models for the test dataset was 19.7 frames per s. As found the bulk of ovaries fell in June (on average 43% of the total number of ovaries) and 14% of fruits fell in July and August before harvesting. The results confirm a feasibility of using modern YOLOv8 CNN models for accurate monitoring of fruit set fall dynamics throughout the fruit ripening vegetative cycle.

russe. Применение алгоритмов машинного обучения для учёта опадения завязавшихся плодов позволит создать модели прогнозирования потенциальной урожайности. Оценивали возможность применения метода трансферного обучения (Transfer Learning) моделей свёрточных нейронных сетей (СNN) для распознавания и классификации завязавшихся плодов яблони на изображениях, оценки степени опадения плодов и последующего учёта урожайности. В исследовании использовали современные модели YOLOv8x-n, разделённые на категории по сложности в зависимости от количества параметров. Сформирован и аннотирован набор изображений завязей плодов (2000 шт.) сорта Марат Бусурин, собранных в условиях промышленного сада с использованием экшен камеры GoPro HERO 11. Для обучения моделей СNN и анализа результатов использовали различные программные инструменты и библиотеки, включая CUDA, TensorFlow, Keras, PyArrow, NumPy, OpenCV, matplotlib и другие, использована видеокарта NVIDIA Tesla T4. Значения метрик точности (Precision) и полноты (Recall), полученные в процессе обучения моделей нейронных сетей, были использованы для оценки производительности моделей YOLOv8x-n, а также для расчета средней точности (mAP50) на каждой эпохе обучения. Каждый распознанный объект на тестовых изображениях был классифицирован и обведен в ограничивающую рамку (box), что позволило визуализировать результаты работы моделей. Распознавание и классификация завязавшихся плодов на промышленной плантации позволяет вести количественный учёт со средней точностью не менее 0,63 mAP. Средняя скорость обработки кадров обученными моделями для тестового набора данных составила 19,7 кадров в секунду. Установлено, что основная масса завязей опала в июне (в среднем 43% от общего числа завязей) и 14% плодов опало в июле и августе перед уборкой урожая. Полученные результаты подтверждают возможность использования современных моделей СNN YOLOv8 для точного учёта опадения завязавшихся плодов в динамике в течение вегетационного цикла созревания плодов.