Reconocimiento de actividades a partir de señales inerciales y acústicas | Activity recognition from inertial and acoustic signals

Fil: Vanrell, Sebastián Rodrigo. Universidad Nacional del Litoral. Facultad de Ingeniería y Ciencias Hídricas; Argentina.

Activity recognition aims at identifying the activities that a person or animal performs over time. Several challenges are faced in the discrimination of activities, such as processing long-term recordings and dealing with information given at different timescales. This thesis deals with automatic activity recognition from inertial and acoustic signals, which are captured with sensors on the body of a person or an animal. Inertial signals indirectly capture body movements and are used in both humans and dairy cows. Regarding human activities, a new representation of signals was studied, based on cepstral analysis, which captures the body dynamic that is associated with the activities of interest. Cepstral features perform very well in the recognition of daily activities and outperform state-of-the-art features. In a similar scheme, preliminary experiments showed that processing inertial signals helps to detect the onset of estrus in dairy cows. On the other hand, acoustic signals are used to monitor foraging behavior in dairy cows. An algorithm is proposed for long-term analysis of this behavior to recognize grazing and rumination blocks. In a first stage, a complete recording is analyzed, based on the autocorrelation of the sound envelope, to detect regular masticatory events and to define the time boundaries of activity blocks. In a second stage, the energy of acoustic signals within a block is analyzed to detect interruptions and characterize their regularity. Rumination blocks present regular interruptions, whereas grazing blocks do not. An extensive evaluation of the proposed algorithm is made and the results obtained are very good.

El problema de reconocimiento de actividades consiste en identificar las actividades que realiza una persona o animal a lo largo del tiempo. Se presentan diversos desafíos para discriminar entre actividades, como lo son el procesamiento de extensos registros y lidiar con información dada en diferentes escalas temporales. En esta tesis se trabaja en el reconocimiento de actividades a partir de señales inerciales y acústicas, capturadas con sensores dispuestos sobre el cuerpo. Las señales inerciales permiten capturar indirectamente los movimientos corporales y se utilizan tanto en humanos como en vacas lecheras. En cuanto a las actividades humanas se trabaja en una nueva representación de las señales, basada en el análisis cepstral, que permite capturar la dinámica del cuerpo asociada a las actividades de interés. Las características cepstrales se desempeñan muy bien y superan a las características del estado del arte. En un esquema similar de trabajo, y de acuerdo a experimentos preliminares, el procesamiento de las señales inerciales también permite la detección de celo en vacas lecheras. Por otra parte, se utilizan señales acústicas para el monitoreo de las actividades alimentarias en vacas lecheras. En una primera etapa, se delimitan los bloques de actividad al detectar la periodicidad de los eventos masticatorios, mediante la autocorrelación de la envolvente del sonido. En una segunda etapa, se clasifican los bloques caracterizando las interrupciones detectadas a partir de cambios en la energía del sonido. La propuesta se evalúa sobre registros de larga duración, utilizando métricas multidimensionales, y los resultados son altamente satisfactorios.

Agencia Nacional de Promoción Científica y Tecnológica

Universidad Nacional del Litoral

Universidad Nacional de Rosario

Agencia Santafesina de Ciencia, Tecnología e Innovación

Consejo Nacional de Investigaciones Científicas y Técnicas