One of the fundamental steps for video processing is to decompose a video into meaningful segments. In previous methods, reliable result for the videos recorded under non-stationary environment could not be produced. Moreover, backward-walk slide transition that similar slides are repeated also cannot be detected. We propose a lecture video segmentation method which is available for various type videos and consider the lecturer behavior by using SIFT, adaptive threshold and graph based detection model. The way to know whether slide to slide transition happens or not is made up two main steps. First is similarity computation for which the slide region is detected then similarity between slides is computed by using SIFT. In second step, the graph based transition detection model will be constructed based on the similarity. At that time, threshold is adjusted adaptively according to characteristic of relevant cacheable segment. The slide transition point can be gotten from graph-based transition detection model and adaptive threshold. The experiments performed on various video types show the effectiveness of ours.
인터넷과 멀티미디어 기술의 발전과 더불어 MIT OpenCourseWare의 수업 동영상이나 Google TechTalks의 기술 세미나 동영상과 같은 다양한 주제의 강의 동영상들이 웹에 공개되면서, 그 양이 급격히 증가하고 있다. 따라서 수많은 강의 동영상 데이터를 처리하기 위한 도구의 개발이 주목 받으면서 효과적인 인덱싱, 검색, 브라우징 기술이 대두되고 있다. 이러한 비디오 데이터 처리 기술을 적용하기 위해선 비디오를 의미 있는 단위로 나누는 shot 세그먼테이션 과정이 필수적으로 선행되어야 한다. 본 논문에서는 강의 동영상 데이터를 비디오 프로세싱의 기본 단위가 되는 shot으로 분할하는 방법을 제안함으로써 인덱싱, 검색 등과 같은 작업의 효율을 높이고자 한다.
강의 동영상 세그먼테이션은 일반 동영상 세그먼테이션과 구분되는 몇 가지 특징이 존재한다. 첫 번째는 강의 동영상 세그먼트의 단위이다. 일반적으로 shot은 하나의 카메라 움직임에서 찍힌 연속적인 프레임 시퀀스를 의미한다. 하지만 강의 동영상에서의 세그먼트는 대부분의 강의자가 강연을 전달하기 위하여 슬라이드를 사용하기 때문에 이것이 비디오의 의미 있는 단위가 될 수 있다. 따라서 강의 비디오의 추후 데이터 처리를 효과적으로 하기 위하여 세그먼트의 단위가 카메라의 움직임이 아닌 슬라이드를 기준으로 한다. 두 번째 특징은 backward-walk 슬라이드 전환이 일어날 수 있다는 점이다. 일반 동영상의 경우 스토리를 묘사하기 위한 영상이 순차적으로 진행되는 반면 강의 비디오의 경우 청자의 이해를 돕기 위하여 이미 설명한 슬라이드를 다시 돌아가는 경우가 종종 발생한다. 따라서 강의 동영상 세그먼트의 정확도를 높이기 위하여 backward-walk 슬라이드 전환을 고려한 알고리즘을 설계해야 한다. 마지막으로 줌 인 줌 아웃과 같은 카메라 움직임에도 강인한 세그먼테이션을 수행해야 한다. 촬영된 강의 비디오를 분석하면 줌 인 줌 아웃 또는 강연자의 움직임이 많은 것을 발견할 수 있다. 카메라의 급격한 움직임은 기존 히스토그램과 같은 특징을 사용하는 세그먼테이션 기법으로는 감지할 수 없게 된다. 따라서 카메라의 급격한 움직임에도 강인한 특징을 사용하여 세그먼테이션의 정확도를 높이고자 한다.
본 논문에서는 강의 비디오 데이터의 고유한 특성을 고려한 새로운 알고리즘을 제안한다. 알고리즘은 슬라이드간 유사도를 계산하는 부분과 계산된 유사도를 기반으로 슬라이드 전환을 판단하는 부분으로 구성되어 있다. 카메라 움직임에도 강인한 세그먼테이션 수행을 위한 SIFT를 사용한 유사도 계산, backward-walk 슬라이드 전환을 감지하기 위한Graph model 기반의 슬라이드 전환 판단 과정 및 강의 데이터의 local variation을 반영하기 위한 적절한 임계 값 계산 기술을 통해 정확한 세그먼테이션을 효과적으로 수행한다. 실험 결과는 제안하는 방법이 기존 방법보다 성능이 좋다는 것을 보여준다.
