Development of an FPV vision system for recognition and analysis of biological objects in horticulture based on convolutional neural networks | Разработка FPV-системы технического зрения для распознавания и анализа биологических объектов в садоводстве на основе сверточных нейронных сетей

Английский. The purpose of the study is to develop a First Person View (FPV) machine vision system based on a neural network detector to recognize and analyze biological objects in horticulture in real time. The developed system, as well as the structural diagram of video transmission, and the system operation algorithm are presented. The use of a digital data transmission module in combination with a video capture and a computing node ensures low video latency (20-30 ms) and high performance when processing streaming data. The system uses the RTSP protocol which makes it possible to transmit a video stream at a distance up to 10 km. The operator wears digital video glasses to view the video stream from the first person and promptly respond to the results of object recognition using the YOLO11n convolutional neural network model. The model achieves an average accuracy of mAP@50=86.3% at a frequency of 13.4 fps and video latency of 20-30 ms. The use of modern libraries (OpenCV, PyQt5, ultralytics) and machine learning methods (YOLO11 for object detection, linear regression for forecasting) makes it possible to adapt the system to a wide range of tasks. The video stream processing algorithm with a neural network detector has shown error tolerance and consistency in the execution of all stages, from initialization and checking the availability of the video source to the final output of results in the interface. The ability to change the recognition parameters (brightness, contrast, confidence threshold) ensures adaptation to various shooting conditions. The implemented algorithm allows you to save videos and images, keep statistics on recognized objects, and conduct predictive analysis. The approach suggested demonstrates opportunities for further improvement and implementation of FPV technologies in the industrial horticulture, including integration with GIS systems and precision farming tools, as well as the use of more complex neural network models to improve the accuracy of recognition of biological objects.

Русский. Цель исследования – разработка First Person View (FPV) системы технического зрения на основе нейросетевого детектора для распознавания и анализа биологических объектов в садоводстве в режиме реального времени. Представлены разработанная система , а также структурная схема передачи видео, описан алгоритм работы системы. Применение цифрового модуля передачи данных в сочетании с видеозахватом и вычислительным узлом обеспечивает низкую задержку видео (20-30 мс) и высокую производительность при обработке потоковых данных. Поддержка системой RTSP-протокола обеспечивает возможность передачи видеопотока на расстояние до 10 км), а цифровые видеоочки позволяют оператору просматривать видеопоток от первого лица и своевременно реагировать на результаты распознавания объектов c помощью модели сверточной нейронной сети YOLO11n. Модель достигает средней точности mAP@50=86,3 % при частоте 13,4 кадра/с и задержке видео 20-30 мс. Использование современных библиотек (OpenCV, PyQt5, ultralytics) и методов машинного обучения (YOLO11 для детекции объектов, линейная регрессия для прогнозирования) дают возможность адаптировать систему к широкому спектру задач. Алгоритм обработки видеопотока с нейросетевым детектором показал устойчивость к ошибкам и согласованность выполнения всех этапов, от инициализации и проверки доступности источника видео до финального вывода результатов в интерфейсе. Возможность изменять параметры распознавания (яркость, контраст, порог уверенности) обеспечивает адаптацию к различным условиям съёмки. Реализованный алгоритм позволяет сохранять видео и изображения, вести статистику о распознанных объектах, а также проводить прогнозный анализ. Предложенный подход открывает возможности для дальнейшего совершенствования и внедрения FPV-технологий в промышленное садоводство, включая интеграцию с GIS-системами и инструментами точного земледелия, а также использование более сложных моделей нейронных сетей для повышения точности распознавания биологических объектов.