Recognizing dynamic textures or scenes is one of the fundamental problems in natural scene understanding, which categorizes moving scenes such as a forest fire, landslide, or avalanche. Over the past decade, considerable efforts have been devoted to these issues. While existing methods focus on reliable capturing of spatial and temporal information of moving patterns, few works have explored frame selection strategies. However, a sequence is likely to include irrelevant frames that appear suddenly or rarely in a particular texture or scene category. In this dissertation, we suggest a codebook-based dynamic texture descriptor that aggregates salient features on three orthogonal planes. Given a sequence, only those frame features that are highly correlated with each visual word are selected and aggregated from the perspective of non-Euclidean geometry. The proposed descriptor removes the feature from outlier frames that suddenly or rarely appear in a particular context, thus enhancing the emphasis of the salient features. By extending this study, we also propose a dynamic scene recognition framework using deep convolutional neural networks. Instead of using whole frames, random frames or partially consecutive frames as in conventional approaches, we used `key frames' and `key segments.' Key frames that reflect the feature distribution of the sequence with a small number are used for capturing salient static appearances. Key segments, which are captured from the area around each key frame, provide an additional discriminative power by dynamic patterns. A fully connected layer from deep convolutional neural networks is used to select the key frames and key segments, while the convolutional layer is used to describe them. Features from key frames and key segments are then aggregated separately and combined into an efficient video-level descriptor. The evaluation results on public dynamic texture and scene datasets demonstrated the state-of-the-art performance of the proposed methods.
산불, 산사태, 눈사태와 같은 동적인 질감이나 장면을 인식하는 것은 자연적 장면 이해 분야의 근본적인 문제 중 하나이다. 지난 10년 동안 이러한 동적 질감 및 장면을 인식하기 위한 연구들이 많이 제안되어왔다. 기존의 기법들은 움직이는 패턴의 공간 정보와 시간 정보를 신뢰할 수 있게 캡처하는 데 초점을 두었지만, 비디오 내의 프레임을 선택하는 주제에 대한 연구는 지금까지 거의 이루어지지 않았다. 그러나 비디오 시퀀스에는 특정 텍스처 또는 장면 범주와는 상관없이 갑자기 혹은 드물게 나타나는 프레임들이 포함될 수 있다. 본 학위 논문에서, 우리는 비디오의 3개의 직교 평면으로부터 두드러진 특징을 모으는 코드북 기반의 동적 텍스쳐 기술자를 제안한다. 비디오가 주어지면 각각의 시각적 단어(visual word)와 높은 상관 관계가 있는 프레임 특징 만이 비-유클리드 기하학 관점에서 선택되고 합쳐진다. 제안하는 비디오 기술자는 특정 문맥에 상관없이 갑자기 또는 거의 나타나지 않는 특이한 프레임들로부터 추출된 특징들을 효과적으로 제거하여, 비디오내 두드러진 특징을 강조하고 강화해준다. 우리는 또한 이 연구를 확장함으로써, 심층 합성곱 신경망(Convolutional Neural Networks)을 이용한 동적 장면 인식 프레임워크를 제안한다. 기존 접근법이 비디오 시퀀스내 모든 프레임들, 임의 선별된 프레임들 또는 부분적으로 연속된 프레임들을 사용한 것과 달리, 제안 기법은 비디오에 포함된 키-프레임과 키-세그먼트를 활용한다. 적은 개수만으로도 비디오 시퀀스의 특징 분포를 잘 반영할 수 있는 키-프레임은 두드러진 정적 패턴을 기술하는데 사용된다. 또한 각 키-프레임들의 앞뒤 주변에서 얻어진 키-세그먼트는 두드러진 동적 패턴 기술을 가능하게 함으로써, 차별화된 인식 성능 향상을 제공한다. 제안 기법에서 심층 합성곱 신경망의 완전연결 레이어(FC-layer)는 키-프레임과 키 세그먼트를 자동으로 선택하는데 사용되고, 합성곱 레이어(Convolutional-layer)는 키-프레임과 키-세그먼트로부터 특징을 추출하는데 사용된다. 우리는 키-프레임과 키-세그먼트로부터 얻어진 정적 특징과 동적 특집을 결합함으로써, 효율적인 비디오 레벨 기술자를 얻을 수 있었다. 제안 기법은 공개된 동적 텍스처 및 장면 데이터셋에서 기존 기법들과 비교했을 때 가장 우수한 인식 성능을 보였다.
