Detecting actions in untrimmed videos is an important yet challenging task. In this dissertation, we propose two new approaches for offline and online action detection. First, we introduce a temporal convolutional network, called Temporal Relation Network (TRN), for offline action detection. Specifically, TRN produces a 2D relatedness score map based on a novel concept of snippet relatedness representing which snippets are related to a specific action instances, and then TRN evaluates the action confidence scores of the temporal intervals and refines their boundaries to obtain temporal action proposals. Our relatedness score map enables the generation of various temporal intervals reliably covering most action instances with high overlap. On two benchmark datasets, THUMOS-14 and ActivityNet-1.3, the proposed method outperforms state-of-the-art methods for temporal action proposal generation. Furthermore, TRN leads to significant improvements in temporal action detection by combining existing action classification networks.Second, we present a novel method, named Temporal Filtering Network (TFN), for online action detection. TFN aims to distinguish between relevant and irrelevant information from a streaming, untrimmed video. To this end, we introduce a filtering module to learn relevance scores indicating how relevant the information is to a current action. Our filtering module emphasizes the relevant information to a current action, while it filters out the information of background and unrelated actions. We conduct extensive experiments on THUMOS-14 and TVSeries datasets, where the proposed method outperforms state-of-the-art methods by a large margin. We also show the effectiveness of the filtering module through comprehensive ablation studies.
비정형 비디오에서 행동 검출은 아직 챌린지한 테스크이다. 본 논문에서는 오프라인과 온라인 행동 검출을 위한 두 가지 새로운 방법을 제안한다. 첫번째는 오프라인 행동 검출을 위해 시간적 관계 네트워크 (TRN)을 소개한다. 구체적으로, TRN은 스닙펫의 관계를 기반으로하여 2D 관계 점수 지도를 생성한다. 여기서 스닙펫 관계는 스닙펫들이 어떠한 행동 인스턴스에 관계되는지를 나타낸다. 다음으로 TRN은 생성한 점수 지도를 기반으로하여 행동일 가능성이 높은 시간 구간을 생성하고 이를 평가하여 시간적 행동 프로포절을 정의한다. 제안하는 2D 관계 지도는 행동 인스턴스와 높은 오버랩을 가지는 행동 구간을 생성 가능하도록 한다. THUMOS-14와 ActivityNet-1.3 데이터 셋에 대해 제안하는 방법의 성능 평가 및 비교를 수행하며, 기존 방법 대비 가장 높은 성능을 보여준다. 또한 기존의 행동 분류 네트워크와의 결합을 통해 행동 검출에서 높은 성능 향상을 보여준다.두번째로 온라인 행동 검출을 위한 시간적 필터링 네트워크 (TFN)을 제안한다. TFN은 비정형 스트리밍 비디오에서 현재 행동과 관련 있는 정보와 비관련 정보를 구분하는 것을 목적으로 한다. 이를 위해서 관련 점수를 학습하는 필터링 모듈을 소개한다. 여기서 관련 점수는 정보가 현재 액션과 관련이 있는지를 나타내는 지표이다. 제안하는 필터링 모듈을 통해 현재 행동의 관한 정보는 강조하고, 그 외 정보에 대해서는 필터링을 수행한다. 제안하는 방법은 THUMOS-14와 TVSeries 데이터 셋에 대해 평가하였으며, 기존 방법 대비 큰 성능 차이를 보여 준다. 또한 포괄적인 실험을 통해 필터링 모듈의 유효성을 보여준다.
