The detection of near-duplicate video clips (NDVCs) is a fundamental requirement of several multi-media applications. Consequently, a strong need exists for techniques that allow identifying NDVCs. Tech-niques for NDVC detection represent a video clip with a unique set of features. Conventional video signatures typically make use of low-level visual features (e.g., color histograms, local interest points). However, low-level visual features are sensitive to transformations of the video content (e.g., blurring and mirroring). Moti-vated by the observation that content transformations tend to preserve the semantic information conveyed by video clips, this dissertation introduces a novel technique for NDVC detection, leveraging model-free semantic concept detection. In particular, we realize model-free semantic concept detection by taking advantage of the collective knowledge in an image folksonomy (i.e., an unstructured collection of user-contributed images and tags), facilitating the use of an unrestricted and dynamic concept vocabulary. Experimental results obtained for the MIRFLICKR-25000 image set (used as a source of collective knowledge) and the TRECVID 2009 video set (used to create query and reference video clips) demonstrate that model-free semantic concept detection can be successfully used for identifying NDVCs.
통신 및 방송 기술의 발달과 비디오 생성 기술의 발달로 인하여 사용자는 비디오를 쉽게 취득, 수정 및 재배포가 용이해졌다. 이러한 이유로 다양한 멀티미디어 환경에서 사용자에 의해 생성된 복제 비디오 및 유사 복제 비디오가 급격히 증가하였다. 비디오 콘텐츠 식별 및 복제 비디오 검출을 위하여 기존 연구들은 비디오 전체 혹은 일부 부분을 나타내는 특징들의 집합을 기반으로 이루어져 왔다. 그러한 각 비디오를 나타내는 특징 집합을 비디오 시그너처 (video signature) 라고 한다. 그러나 지금까지의 비디오 시그너처 기술 연구는 주로 콘텐츠 내부에서 추출된 특징 정보만을 활용하여 내용 특징에 영향을 주는 변환 및 잡음에 민감한 한계를 가지고 있었다.
이러한 문제점을 해결하기 위하여 본 논문에서는 의미를 기반한 새로운 비디오 시그너처를 제안하였다. 멀티미디어 콘텐츠의 의미 정보는 변화 및 잡음에도 변하지 않기에 유사 복제에 존재하는 변환들에 강인한 특징이다. 특히, 제안하는 의미 기반 비디오 시그너처는 비디오에 나타나는 의미들의 시간적 변화를 기반으로 함으로써, 더욱 다양하고 효과적인 비디오 시그너처를 만들 수 있다. 또한, 제안하는 의미 기반 비디오 시그너처는 폭소노미를 사용한 비-모델 기반 의미 검출을 사용함으로써, 의미 모델에 제한적이지 않고 다양하고 유동적인 의미를 사용한다. 이를 위해, 제안하는 방법은 비디오와 시각적 특징이 비슷한 폭소노미 콘텐츠를 모아서, 그 폭소노미 콘텐츠에 포함된 의미 정보를 사용하는 방법으로 다양한 의미를 검출하였다.
본 논문에서 제안된 비디오 시그너처의 유용성을 검증하기 위하여, 비디오 검출 분야에서 가장 활발한 TRECVD의 공식 실험 데이터베이스와 유사 복제 비디오 변환을 사용하여 검증하였다. 또한, 실제 폭소노미에 존재하는 정보를 사용하기 위하여 MIRFLICKR-25000을 기반을 통하여, 제안하는 방법이 기존 시각 정보 기반 비디오 시그너처에 비해 유사 복제 비디오에 존재하는 변환에 강인하다는 것을 증명하였다. 또한, 폭소노미를 이용한 비-모델 기반 의미 검출 방법은 모델 기반 방법에 비하여 다양하고 유동적인 의미 검출이 가능함을 보였고, 또한 비디오 시그너처를 더욱 효과적으로 함을 보였다.
본 논문에서 제안하는 연구내용들은 새로운 비디오 시그너처로써, 의미 정보를 비디오 관리 및 검색에 활용하는 연구자들과 개발자들에게 매우 유용한 정보로써 활용될 수 있을 것이다.
