Neural network models of apple fruit identification in tree crowns: comparative analysis | Сравнительный анализ моделей нейронных сетей для распознавания плодов яблони на кроне дерева

English. The quality of modern neural network models of apple fruit identification in tree crowns shown in images has been assessed and analyzed in 2022 and 2023. The results are presents below. To identify the best detector, the following neural networks were used: (Single Shot MultiBox Detector), (You Only Look Once, Version 4), YOLOv5, YOLOv7, and YOLOv8. The performance of the considered models of apple fruit identification was assessed using such binary classification metrics as precision, recall, accuracy, F-score, and AUC-ROCTotal (area under the curve). To assess the accuracy in predicting apple fruit identification, the mean absolute percentage error (MAPE) of the analyzed neural network models was calculated. The neural network performance analysis used 300. The conducted studies revealed that the SSD model provides lower speed and accuracy, as well as having high requirements for computing resources, which may limit its use in lower performance devices. The YOLOv4 model surpasses the YOLOv5 model in terms of accuracy by 10.2%, yet the processing speed of the YOLOv5 model is over twice that of the YOLOv4 model. The YOLOv8 model is superior to the YOLOv7 model in terms of speed (by 37.3%); however, the accuracy of the YOLOv7 model is 9.4% higher. The highest area under the Precision-Recall curve amounts to 0.94 when using the YOLOv7 model. MAPE calculation for the analyzed neural network models showed that the lowest error in apple fruit identification amounted to 5.64% for the YOLOv7 model as compared to the true value determined using the visual method. The performance analysis of modern neural network models shows that the YOLO family of neural networks provides high speed and accuracy of object detection, which allows them to operate in real time. The use of transfer learning to adjust the performance of models for different apple fruit varieties can further improve the accuracy of apple fruit identification.

Russian. Представлены результаты проведённого с 2022 по 2023 гг. анализа качества работы современных моделей нейронных сетей для идентификации плодов яблони на кроне деревьев в изображениях. Для проведения исследований по выявлению наиболее качественного детектора использованы нейронные сети (Single Shot MultiBox Detector), (You Only Look Once версия 4), YOLOv5, YOLOv7 и YOLOv8. Оценивая качество работы рассматриваемых моделей для идентификации плодов, использовали метрики бинарной классификации Precision, Recall, Accuracy, F-score (F-мера), AUC-ROCTotal (Area Under the Curve). Чтобы оценить точность прогноза идентификации плодов проведен расчет средней абсолютной ошибки (Mean Absolute Percentage Error, MAPE) анализируемых моделей нейронных сетей. Для анализа качества работы нейронной сети использовано 300 фотографий. Анализ проведённых исследований показал, что модель SSD даёт более низкую скорость и точность работы, имеет высокие требования к вычислительным ресурсам. Модель YOLOv4 превосходит YOLOv5 по точности на 10,2%, однако при этом скорость обработки модели YOLOv5 превышает скорость YOLOv4 более чем в два раза. Модель YOLOv8 превосходит модель YOLOv7 по скорости работы на 37,3%, но точность у YOLOv7 выше на 9,4%. Установлено, что наибольшее значение площади под Precision-Recall кривой составило 0,94 при использовании нейронной сети модели YOLOv7. Проведенный расчет средней абсолютной ошибки (Mean Absolute Percentage Error, MAPE) анализируемых моделей нейронных сетей показал, что наименьшая ошибка идентификации плодов составила 5,64% на модели YOLOv7 в сравнении с истинным значением, определенным визуальным методом. Семейство нейронных сетей You Only Look Once обеспечивает высокую скорость и точность обнаружения объектов, это позволяет им работать в режиме реального времени. Использование метода трансферного обучения для адаптации работы моделей на различных сортах яблони позволит дополнительно повысить точность идентификации плодов.