Camera traps, unmanned observation devices, and deep learning-based image recognition systems have greatly reduced human effort in collecting and analyzing wildlife images. However, data collected via above apparatus exhibits 1) long-tailed and 2) open-ended distribution problems. To tackle the open-set long-tailed recognition problem, we propose the Temporal Flow Mask Attention Network that comprises three key building blocks: 1) an optical flow module, 2) an attention residual module, and 3) a meta-embedding classifier. We extract temporal features of sequential frames using the optical flow module and learn informative representation using attention residual blocks. Moreover, we show that applying the meta-embedding technique boosts the performance of the method in open-set longtailed recognition. We apply this method on a Korean Demilitarized Zone (DMZ) dataset. We conduct extensive experiments, and quantitative and qualitative analyses to prove that our method effectively tackles the open-set long-tailed recognition problem while being robust to unknown classes.
무인 관찰 장치인 트랩 카메라, 그리고 딥러닝 기반 이미지 인식 시스템은 야생 동물 이미지를 수집하고 분석하는 인간의 노력을 크게 줄였다. 그러나, 위의 장치를 통해 수집된 데이터는 1) 긴꼬리(Long-tailed) 및 2) 개방형(Open-ended) 분포로 인한 문제점을 갖고 있다. 데이터 불균형과 미지의 데이터로 인해 발생하는 개방형 긴 꼬리 인식 문제를 해결하기 위해 1) 광학 흐름(Optical Flow) 모듈, 2) 주의(Attention) 잔차 모듈 및 3) 메타 임베딩 분류기의 세 가지 핵심 블록으로 구성된 Temporal Flow Mask Attention Network를 제안한다. 논문에서 제안하는 네트워크는 광학 흐름 모듈을 활용하여 순차 프레임으로부터 시간적 특징을 추출하고 주의 잔차 블록을 사용하여 유익한 표현을 학습한다. 또한, 메타 임베딩 기법을 적용할 때 개방형 긴 꼬리 인식에서 성능이 더욱 향상됨을 보인다. 본 논문은 이 기법을 한국의 비무장 지대(DMZ) 데이터 세트에 적용한다. 실험을 통해 정량적 및 정성적 분석을 수행함으로써 제안한 딥러닝 네트워크가 미지의 클래스에 대해 강건하면서 개방형 긴 꼬리 인식 문제를 효과적으로 해결할 수 있음을 보인다.
