In real-world scenarios, human action recognition (HAR) is essentially an open set problem that requires a model to classify actions from known classes and detect actions from unknown classes simultaneously. However, HAR models are easily biased to static information in the video (e.g., background), which can lead to performance degradation of open set action recognition (OSAR) models. In this paper, we propose a simple framework for improving OSAR based on the video attention map extracted from the video vision transformer model. Specifically, our framework eliminates patches with static bias in video using two debiasing steps: (1) frame selection and (2) patch masking. Experimental results show that our framework achieves consistent performance improvement on multiple OSAR methods and challenging benchmarks. Furthermore, we introduce two new OSAR tasks, Kinetics-400 vs. Kinetics-600 exclusive and Kinetics-400 vs. Kinetics-700 exclusive, to validate our method in a setting close to the real-world scenario. With extensive experiments, we demonstrate the effectiveness of our attention-based masking, and in-depth analysis validates the effect of static bias on OSAR.
실제 시나리오에서 행동 인식은 모델이 알고 있는 클래스의 행동을 분류함과 동시에 알고 있지 않은 클래스의 행동을 동시에 감지할 수 있어야하는 오픈셋 문제에 해당한다. 그러나 행동 인식 모델은 배경과 같은 영상 내 정적 정보에 편향되기 쉬우며, 이는 오픈셋 행동 인식 모델의 성능 저하로 이어질 수 있다. 따라서, 본 논문에서는 비디오로부터 추출된 어텐션 맵을 기반으로 오픈셋 행동 인식을 개선할 수 있는 프레임워크를 제안한다. 제안하는 프레임워크는 두 가지의 편향 제거 단계: (1) 프레임 선택, (2) 패치 마스킹을 통해 비디오에서 정적 편향이 존재하는 패치를 제거한다. 실험 결과는 제안하는 방법이 다양한 오픈셋 행동 인식 방법과 어려운 벤치마크에서 일관된 성능 향상을 달성할 수 있음을 보여준다. 또한, 우리는 실제 시나리오에 가까운 환경에서 제안하는 방법을 검증하기 위해 두 가지 새로운 오픈셋 행동 인식 밴치마크 태스크 Kinetics-400 vs. Kinetics-600 exclusive와 Kinetics-400 vs. Kinetics-700 exclusive를 도입하였다. 우리는 다양한 실험을 통해 어텐션 기반 마스킹의 효과를 입증하고, 심층 분석을 통해 정적 편향이 오픈셋 행동 인식에 미치는 영향을 검증하였다.
