Smart Livestock Farming (SLF) is an emerging concept that refers to livestock farm management by automatic real-time supervising or monitoring of the production system, health, and welfare of livestock. With the rapid growth of the Internet of Things (IoT), machine learning, and big data analytics technology, the non-real-time and real-time data could be conveniently collected and analyzed for managing the livestock and the farm. Swine industry is one of the industries that progressively incorporates SLF to monitor the grouped-house pig’s welfare. In the recent decade, pig positive welfare study has gained more attention from researchers, and one of the evident behavioral indicators of positive welfare is playing behaviors. However, playing behavior is spontaneous and scarce which makes the data collection difficult. The most direct method to monitor the behavior is the video surveillance system. To the best of our knowledge, there has not been any study in the computer vision field that comprehensively classifies the pig playing behaviors from the video. Hence, we see a need to build a video classification model of pig playing behavior using deep learning. We developed a pig playing and non-playing behaviors classification framework that can classify social play, object play, and locomotor play behaviors as playing behaviors. We based our deep learning framework on an end-to-end trainable CNN-LSTM network, with ResNet34 as the CNN backbone model. By applying the global maximum pooling method on CNN final layer's feature maps, and a temporal attention layer to the spatio-temporal feature, our proposed CNN-LSTM variant produced a high classification accuracy of 92.01%. Apart from the labor-intensive sampling methods in the ethology field, using a deep learning computer vision recognition model will definitely help the researchers in collecting the video data for the in-depth study of the relationship between pig playing behaviors and positive welfare.
스마트 축산(smart livestock farming)이란 생산체계와 가축의건강, 복지 등을 자동 실시간 모니터링 또는 제어해 축산농가를 관리하는 첨단개념이다. 사물인터넷(IoT)과 머신러닝, 빅데이터 분석 기술의 급속한 성장으로 가축과 농장 관리를 위한 비실시간·실시간 데이터를 편리하게 수집 및 심층 분석이 가능해졌다. 돼지산업은 공장식 축산 돼지의 복지 모니터링을 하기 위해 스마트 축산 개념을 점진적으로 통합하는 많은 산업 중 하나다. 최근 10년간 긍정적 돼지복지에 대한 연구는 연구자들로부터 많은 관심을 얻었고, 긍정적 동물복지를 헤아릴 수 있는 행동 지표들 중 하나는 놀이 행동이다. 그러나 돼지 놀이 행동은 즉흥적이고 희소하기 때문에 이에 대한 데이터 수집이 어렵다. 가축의 행동과 복지를 모니터링하는 가장 직접적인 방법은 영상 감시시스템이다. 우리가 아는 한 컴퓨터 비전 분야에서 영상으로부터 돼지 놀이 행동을 포괄적으로 분류하는 연구가 여태까지 없었다. 따라서, 딥러닝을 활용하여 영상으로부터 돼지 놀이 행동을 분류하는 모델을 구축할 필요가 있다. 우리는 돼지의 사회적 놀이, 사물 놀이, 신체운동 놀이를 분류할 수 있는 돼지 놀이 및 돼지 비(非)놀이 분류 프레임워크를 개발했다. 딥러닝 모델은 end-to-end로 ResNet34를 백본 모델로 하는 CNN-LSTM 네트워크를 기반으로 구축했다. CNN 최종 계층에서 도출되는 피처 맵에 글로벌 맥스풀링 메서드를, 시공간 피처에 어텐션 메커니즘을 적용함으로써 제안된 CNN-LSTM 네트워크는 92.01%의 정확도를 달성하였다. 동물 행동학 분야에서 노동 집약적인 샘플링 방법을 사용하기보다는 딥러닝 컴퓨터 비전 인식 모델을 활용하는 것은 돼지 놀이 행동과 긍정적 복지 사이의 관계에 대한 심층적인 연구를 위한 데이터 수집에 도움이 될 것으로 예상된다.
