Computer vision tools to detect the precursors of tail biting in pigs: first steps towards methodological framework

Abstract: Tail biting is one of the most significant problems affecting production in terms of animal welfare, productivity, and health. In response, this project presents the application of existing computer vision and machine learning tools to detect the precursors of tail biting in pigs under field conditions. Computer vision systems can facilitate phenotyping to select more stress-resistant pigs and help detect problems at an early stage, both at the individual and group levels. Behavioural changes, such as activity in the pen, frequency of contact between pigs in a group, or handling of objects, can be indicative of the development of tail biting, among other problems. The proposed work curated an animal identification dataset that will support the creation of a reference database for detecting these changes. The data included approximately 1.800 h of video recordings of he daily lives of two groups of 12 fattening pigs, each weighing 100-140 kg, at Agroscope's experimental station in Switzerland. A bibliographical survey of existing computer vision systems for pigs allowed for the selection of the annotation and training tools and the development of an ethogram that was best suited to the project. From the initial set of images, we obtainde a first dat subset of 2,500 images automatically selected using Lightly for annotation. The annotation algorithm chosen was CVAT (Computer Vision Tool), which enabled 280 images to be annotated with bounding bozes and 520 with semi-automatic segmentation using the Segment Anything Model (SAM) for the classes of objects present in each image (ID of each pig, head, tail), location, and additional attributes, such as poses (lying down, standing, or sitting/keeling). The 280 images annoted with bounding bozes were use to train YOLOVv8, achieving and accuracy of 0.93 for the heads and 0.84 for the tail of the pigs. Although we did not achieve the desired accuracy, the results were quite satisfactory, given the number of frames for training. Althoug we could not train the object detection model with the images annoted with the Segment Anything Model within the allocated project time, we expect such an effort to yield better results, as the annotation is more accurate and provides greater amounts of ground truth, hence better accuracy.

Resumo: A caudofagia é um dos problemas que mais afeta a produção em termos de bem-estar animal, produtividade e saúde, o projeto a apresentar consiste na aplicação de ferramentas existentes de 'computer vision' e de 'machine learning' para detetar os precursores da mordedura da cauda em suínos em condições de campo. Os sistema de 'computer vision' podem facilitar a fenotipagem para selecionar suínos mais resistentes ao stress e ajudar a detetar problemas numa fase precoce, tanto a nível individual como de grupo. A observação de alterações comportamentais, como a a atividade no parque, a frequência de contacto entre suínos de um grupo ou o manuseamento de objetos, pode ser indicativa do desenvolvimento da mordedura da cauda, entre outros problemas. O trabalho proposto consiste principalmente na preparação de um conjunto de dados para identificação animal que permitirá a criação de uma base de dados de referência. Com cerca de 1800 horas de vídeos gravados do quotidiano de dois grupos de 12 porcos de engorda, cada um com 100-140 kg, na estação experimental AGROSCOPE na Suíça, e após um levantamento bibliográfico dos sistemas de 'computer vision' existentes para porcos, foi possível selecionar as ferramentas de anotação e treino e desenvolver um etograma mais adequado ao projeto. A partir do conjunto inicial de imagens, obtivemos um primeiro subconjunto de dados de 2.500 imagens selecionadas automaticamente utilizando o Lightly, para anotação. O algoritmo de anotação escolhido foi o CVAT (Computer Vision Tool), que permitiu antoar 280 imagens com caixas delimitadoreas (Bouding boz) e 520 com segmentação semi-automática utlizando o 'Segment Anything Model'(SAM) para as classes de objetos presentes em cada imagem (ID de cada porco, cabeça, cauda), localização e atributos adicionais como a pose (deitado, de pé ou sentado/joelhado). Foi possível treinar o YOLOv8 com as 280 imagens anotadas com Bounding box, obtendo uma precisão de 0.93 para a cabeça e 0.84 para a cauda. Embora não tenhamos atingido a precisão desejada, os resultados são bastante satisfatórios dado o número de imagens utilizadas para o treino. O tempo de projeto não nos permitiu faze o treino com imagens anotadas com o SAM, mas espera-se que obtenhamos melhores resultados, uma vez que a anotação é mais precisa e fornece uma maior quantidade de dados concretos, logo uma melhor precisão