In this thesis, we address the problem of unsupervised video summarization that automatically extracts key-shots from an input video. Specifically, we tackle two critical issues based on our empirical observations: (i) Ineffective feature learning due to flat distributions of output importance scores for each frame, and (ii) training difficulty when dealing with long-length video inputs. To alleviate the first problem, we propose a simple yet effective regularization loss term called variance loss. The proposed variance loss allows a network to predict output scores for each frame with high discrepancy which enables effective feature learning and significantly improves model performance. For the second problem, we design a novel two-stream network named Chunk and Stride Network (CSNet) that utilizes local (chunk) and global (stride) temporal view on the video features. Our CSNet gives better summarization results for long-length videos compared to the existing methods. In addition, we introduce an attention mechanism to handle the dynamic information in videos. This attention uses differences between adjacent frames in feature space. We demonstrate the effectiveness of the proposed methods by conducting extensive ablation studies and show that our final model achieves new state-of-the-art results on two benchmark datasets.
본 학위논문에서, 입력 비디오에서 핵심 장면을 자동으로 추출하는 비교사 학습 방법을 사용한 비디오 요약을 다룬다. 특히, 경험적 관찰에 기초한 다음과 같은 두 가지 중요한 문제를 다룬다: (1) 각 프레임에 대한 출력 중요도 점수릐 평평한 분포로 인한 비효율적인 특징 학습, (2) 긴 길이의 비디오를 처리할 때의 어려움을 다루는 학습 방법. 첫 번째 문제를 완화하기 위해, 분산 손실이라는 간단하지만 효과적인 정규화 손실 함수가 제안된다. 제안된 분산 손실 함수는 네트워크가 차이가 큰 각 프레임의 출력 점수를 예측할 수 있게하여 효과적인 특징 학습을 가능하게하고 모델의 성능을 큰 폭으로 향상시킨다. 두 번째 문제를 해결하기 위해, 시간 축에서의 비디오의 지역 특징과 전역 특징을 고려한 청크와 스트라이드 네트워크(CSNet)라는 새로운 두 갈래 네트워크를 설계한다. CSNet은 기존 방법에 비해 긴 길이의 비디오에 대한 비디오 요약의 성능을 향상시킨다. 또한 비디오의 동적 정보를 다루기 위한 주의 집중 매커니즘이 제안된다. 이 주의 집중 방법은 특징 공간에서의 인접한 프레임간의 차이를 이용한다. 많은 실험을 통해 각각의 제안된 방법들의 성능적인 기여가 입증되었고 두 가지 데이터 셋에 대한 최고의 성능을 달성하였다.
