We propose a novel video abstraction framework for online review services of story-oriented videos such as dramas. Among many genres of TV programs, a drama is one of the most popularly watched genres on the Web. The abstracts generated by the proposed framework not only give a summary of a video but also effectively help viewers understand the overall story. In addition, our method is duration-flexible. We get clues about human understanding of a story from scenario writing rules and editorial techniques which are popularly used in the process of video production to express a narrative explicitly, and propose a new video abstraction model, called a Narrative Abstraction Model. The model effectively captures the narrative structure embedded in a story-oriented video and articulates the progress of story in a weighted directed graph, called a Narrative Structure Graph (NSG). The model provides a basis for a flexible framework for abstract generation using the NSG as the intermediary representation of a video. Different abstracts can be appropriately generated upon different user requirements. To show the effectiveness of the proposed model and method, we developed a video abstraction system realizing the framework and successfully applied it to large volumes of TV dramas. The evaluation results show that the proposed framework is a feasible solution for online review services.
온라인 서비스의 발전으로 드라마와 같은 스토리 중심 비디오를 프리뷰, 리뷰 할 수 있는 서비스에 대한 요구가 증가하고 있다. 스토리 중심 비디오의 프리뷰, 리뷰 서비스는 시청자들이 짧은 시간에 원본 비디오의 내용을 파악할 수 있도록 해야하기 때문에, 특정 시간에 맞는 요약본 생성을 위해 많은 수작업과 시간을 필요로 한다. 본 논문에서는 이와 같은 문제점을 해결하여, 특정 시간에 맞추어 원본 비디오를 자동으로 요약할 수 있는 새로운 비디오 요약 프레임워크를 제안한다. 제안한 프레임워크는 생성한 비디오 요약 결과물로 한편의 비디오에 대한 줄거리를 시청자가 파악할 수 있도록 하는데 목적이 있다. 또한 제안하는 방법은 시청자의 환경에 따라 다양한 비디오 길이(시간)의 요약을 요구하더라도 유동성 있게 시간에 맞는 요약을 제공하여 시간에 따른 중복된 수작업을 방지함으로써, 물리적, 시간적 측면을 절약하는데 목적이 있다.
제안한 프레임워크는 스토리 중심 비디오에서 줄거리를 보여주는 서사 구조를 알아내고, 이를 제안한 “서사 구조 요약 모델” 로 정형화하여 표시한다. 정형화된 모델은 비디오 내에서의 단위별 스토리 전개 정도를 알아내어 표시하며, 이 때 요약본은 스토리 전개 정도가 가장 많은 단위들로 구성한다. 시청자는 요약 결과물에서 스토리의 전개를 보고, 비디오 한편의 전체 줄거리를 파악할 수 있다.
기존의 비디오 요약 연구는 시청자의 관심도가 높은 특정 장면을 추출하거나, 비슷한 물리적 특징 (예를 들면, 색상, 움직임 증)을 갖는 샷들을 클러스터링 한 후 대표할 만한 부분을 추출하여 전체 비디오의 분위기를 파악할 수 있도록 하는 방법 위주로 진행되었다. 비디오 내용을 이해하는 것을 목적으로 하는 연구는 주로 하나의 씬 내부에서 의미 전달에 필요 없는 부분을 삭제하는 방법으로 진행되었다. 그러나 한 편의 비디오를 이해하기 위해서는 씬간의 관계 즉, 의미있는 사건들 간의 관계를 파악하는 것이 중요하다.
시청자가 비디오를 보면서 줄거리를 이해하는 과정에 관한 단서는 비디오 제작 과정에서 서사 구조를 명확히 드러내기 위해 제작자들이 오래전부터 사용하던 시나리오 작성 기법과 편집 기법에서 얻을 수 있다. 시나리오 작성 기법에서 스토리는 서사 구조로 표현하며, 서사 구조는 의미있는 사건들과 그들의 관계로 표현된다. 여기서 의미 있는 사건은 등장 인물들 간의 상호 작용으로 표현하며, 관계는 인과 관계로써 표현한다. 편집 기법은 서사 구조를 더욱 명확히 하여 시청자들의 이해를 돕기 위해 사용되는데, 등장 인물들 간의 상호 작용은 대화와 액션으로, 인과 관계는 사용자의 이해를 돕는 비쥬얼한 효과로 표시한다.
“서사 구조 요약 모델”이라 부르는 제안한 비디오 요약 모델은 스토리 중심 비디오의 서사 구조를 서사 구조 요소 (Narrative Element)와 요소 간의 관계 유무 (Narrative Connection), 그리고 요소 간의 스토리 진전 정도 (DoP: Degree of Progress)로 표시한다. 제안한 모델은 NSG (Narrative Structure Graph) 라 명명한 그래프로 일대일 변환되며, NSG를 이용하여 다양한 길이의 요약을 생성할 수 있다. 즉, 요약은 주어진 시간을 만족하면서, 최대 DoP 합 값을 갖는 서브 그래프를 찾는 문제가 된다. 본 논문에서는 시간을 초과하는 서브 그래프를 요약 대상에서 제외하여 빠른 시간에 최적의 서브 그래프를 찾는 알고리즘을 고안하였다.
제안한 모델과 요약 방법의 성능을 평가하기 위해 제안한 요약 프레임워크를 구현하였다. 구현된 비디오 요약 시스템을 통해 다양한 종류, 다수의 드라마에 제안한 프레임워크를 적용하여, 성공적인 요약이 생성됨을 확인하였다. 즉, 시나리오 작가가 생성한 요약본을 정답으로 설정하여 요약에 포함된 내용을 문장 비교 방식 (sentence matching method)으로 비교한 결과 평균 80%이상의 성능을 보였다. 또한 주관적 성능 평가에서도 기존의 방법에 비해 정확도 및 선호도 측면에서 상당히 우수한 성능을 보였다. 성능 평가 결과는 제안한 프레임워크가 온라인 리뷰 서비스에 적용될 수 있는 실용적인 방법임을 보인다.
