Developing neural-based hardware and software complex with a mobile application for monitoring apple fruits on tree canopy | Разработка программно-аппаратного комплекса с мобильным приложением на основе нейронной сети для мониторинга плодов яблони на кроне дерева

English. The paper presents a software and hardware complex with a mobile application based on a neural network, designed to identify apple fruits (apples) on tree canopy, to count their number, to determine the quantity of fruits affected by diseases, as well as to estimate the growth rate of apples and, thus, to forecast the total yield during the growing season. The developed software and hardware complex consists of a photo (image) collection unit with client software (a mobile application, a digital camera), a unit for processing the obtained images, which includes a database and a neural network, and a unit for interpretation of the obtained data. A neural network based on VGG-16 and SSD architecture was developed to identify apples on the tree canopy for evaluating apples and distinguishing sound fruits and those affected by disease. Training of the neural network was based on the selected classes of sound red and green apples, and apples affected by diseases – scab, powdery mildew, fruit rot, as well as mechanical damage. The software runs and operates on Ubuntu operating system, a mobile application – on Android. The software package and mobile application are capable of processing incoming photos (images) online, as well as to use previously captured photos. The generated database collects structured information about all field measurements and calculations of the number of apples on the planting rows under study. The experiments conducted on an industrial apple plantation showed that the accuracy of estimating the total number of fruits on the tree canopy compared to the true value was 94.7%, the accuracy of calculating the number of affected fruits was 90.4%. When technical requirements for the server and requirements for images are met, the average recognition rate does not exceed 0.6 s per image, the average segmentation rate of the apples from the background does not exceed 0.8 s per image, the average speed of an image analyzing and obtaining the recognition result does not exceed 1.5 s.

Russian. Представлен разработанный программно-аппаратный комплекс с мобильным приложением на основе нейронной сети, который позволяет идентифицировать плоды яблони на кроне деревьев, вести их подсчёт, определять количество плодов, поражённых болезнями и темпы роста плодов для вычисления объёма урожая во время вегетационного периода. Программно-аппаратный комплекс состоит из блока сбора фото (изображений), который включает клиентское программное средство (мобильное приложение, цифровая камера), блока обработки полученных изображений, который включает базу данных и нейронную сеть, а также блока анализа полученных данных. Для идентификации плодов яблони на кроне дерева разработана нейронная сеть на основе архитектуры VGG-16 и SSD − для диагностики изображений здоровых и поражённых болезнями плодов яблони. Классами плодов яблони для обучения нейронной сети выбраны здоровые красные и зелёные плоды; поражённые болезнями – паршой, мучнистой росой, гнилью плодовой и имеющие механические повреждения. Программное обеспечение запускается и функционирует на операционной системе Ubuntu, мобильное приложение на Android. Программное обеспечение и мобильное приложение могут работать на основе входящих фотографий (изображений) в режиме онлайн и использованием ранее отснятого фотоматериала. Разработанная база данных содержит структурированную информацию о всех произведённых полевых измерениях, итогах расчётов количества плодов яблони на исследуемых рядах насаждений. Точность оценки общего количества плодов на кроне дерева по сравнению с истинным значением составила 94,7%, точность подсчёта количества поражённых плодов составила 90,4%. Средняя скорость распознавания образов не превышает 0,6 с на одно изображение, средняя скорость сегментации плода яблони от фона не превышает 0,8 с на одно изображение, средняя скорость анализа одного изображения и получения результата распознавания не превышает 1,5 с при соблюдении технических требований к серверу и требований к изображениям.