Analysis of hyperspectral images of apple fruits for automated sorting | Анализ гиперспектральных снимков плодов яблони для автоматизированной сортировки

English. One non-invasive method for detecting fruit damage involves monitoring of them using hyper-spectrometers. Hyperspectral images comprise a set of spatially resolved radiation spectra of a reflected object. By using these data, it is possible to identify the characteristics and parameters of fruits that may indicate damages of them. In this study, the spectral and spatial components of hyperspectral images of apple fruits (n=100) have been analyzed. The images were taken using a prototype optical system for recognizing micro- and macrodamage of plant tissue. The device simulates a conveyor sorting system and is able to rotate the subjects. 'Ligol' apples grown in the Tambov region, Russia, harvested no more than 3 days ago were sorted. Random forest classifiers were used to detect objects in the images, with reflection spectra, vegetation indices and spatial texture descriptors - local binary patterns - used as input data for classifiers. Classifiers based on spectral characteristics proved to be more reliable than those trained without spectral data. Using spectral information about fruits significantly improved the classification results under the conditions of uneven lighting interference. By combining spectral data with machine learning methods, fruit sorting efficiency can be improved. This approach offers advanced development of methods for processing data from hyperspectral sensors installed on sorting lines to detect apple damage reliably.

Russian. Одним из неинвазивных методов обнаружения повреждений плодов является их мониторинг с использованием гиперспектрометров. Гиперспектральные изображения представляют собой набор пространственно разрешенных спектров излучения отраженного объекта. Используя эту информацию, можно выделить характеристики и параметры плодов, которые могут указывать на их повреждения. Анализировали спектральные и пространственные компоненты гиперспектральных снимков плодов яблони (n=100). Снимки получали с помощью прототипа оптической системы распознавания микро- и макроповреждений тканей растений, которая имитирует конвейерную сортировку и позволяет поворачивать объект съемки. Сортировали выращенные в Тамбовской области яблоки сорта Лигол, снятые с дерева не более 3 дн. назад. Для классификации объектов на изображениях использовали классификаторы типа "случайный лес". В качестве входных данных для классификаторов использовались спектры отражения, вегетационные индексы и дескрипторы пространственной текстуры (локальные бинарные шаблоны). Классификаторы, основанные на спектральных признаках, работали надежнее тех, которые были обучены без использования спектральных данных. Использование спектральной информации о плодах значительно улучшало результаты классификации при наличии помех от неравномерности освещения. Комбинируя спектральные данные с методами машинного обучения, можно повысить эффективность сортировки плодов. Этот подход открывает новые возможности для разработки методов обработки данных от гиперспектральных сенсоров, установленных на сортировочных линиях с целью надежного обнаружения повреждений плодов яблони.