We propose a metadata generation technique to describe contents of broadcasting video. It can generate XML documents which summarize the video contents. In the system, the video is analyzed by shot-boundary detection and multi-modal featuring. These features are then combined to construct high level metadata such as segments of important events.
Nowadays, there is an increasing demand for interactive broadcast system. TV-Anytime and MPEG-7 standards provide efficient and effective content- based metadata for summarizing, retrieving, and indexing content. For example, they can give the information such as color histogram, homogeneous texture, program information, program locator and so on.
In this paper, we analyze the video contents with multiple content features, e.g., multiple MPEG-7 metadata. At first, we carry out a shot boundary detection and then MPEG-7 meta data, such as camera motion, motion trajectory, GOP (Group Of Picture), edge detection and homogeneous texture, are extracted. However, single metadata may not work to find similar high level pattern. For example, camera motion or GOP metadata can not be used alone to find putting-shots. Therefore one needs to combine multiple metadata. In this paper, we combined camera motion feature and GOP to find putting-shots more exactly. Further, the summary which has the structure of SegmentGroupInformation DS in TV-Anytime is constructed and formed in XML document. One can search the video contents by parsing the XML document in the way of direct access of the key shot.
To demonstrate the usefulness of the proposed method, we implemented a video metadata generation tool. The necessary metadata are extracted and the key events of video sequences are presented with multiple metadata and formed in XML document for the summary. In experiments, we used MPEG-7 video data set. With a query pattern, we measured the ratio of finding similar patterns among all retrieved patterns. One can get a more similar pattern with combination of multiple metadata. Experimental results show that the proposed method gives fast feature extraction and high retrieval performance.
오늘날, 방송용 컨텐츠 제공자(Contents provider)와 사용자간의 상호 정보 전달에 의해 사용자의 기호에 맞는 컨텐츠를 제공해 줄 수 있는 대화형 방송 시스템에 대한 요구가 급속도로 증가하면서, 대화형 방송 시스템 구축에 있어 기반 기술이라 할 수 있는 방송용 컨텐츠의 요약, 검색, 색인 기술에 관한 필요성이 증가하였다. 이러한 필요성에 의해 현재 진행 중인 TV-Anytime이나 MPEG-7과 같은 국제 표준들은 효율적이고 효과적인 방송용 컨텐츠의 내용 기반 메타데이터들을 제공하고 있으며, 칼라 히스토그램, 동형 질감, 프로그램 ID, 프로그램 locator등이 그 예이다.
본 논문에서는 골프 비디오를 대상으로 MPEG-7 메타데이터를 복합적으로 사용하여, 비디오 컨텐츠의 내용 기반 요약문( Video Contents Summary)을 생성하였다. TV-Anytime DS 중 하나인 SegmentGroupInformation DS를 이용하여 비디오 컨텐츠의 중요 이벤트에 해당하는 audio-, video-, 또는 AV segments와 그것들의 key-frames, key-sounds를 저장한다.
그러므로 비디오 컨텐츠를 SegmentGroupInformation DS로 기술하기 위해 가장 먼저 할 일은 비디오 컨텐츠별 중요 이벤트를 정의하는 것이고, 골프 비디오에 있어 중요한 이벤트로는 샷(Tee-샷, Second-샷, Approach-샷), 퍼팅, 벙커 샷 등이 있다.
다음으로 샷 경계 검출을 하고, 각 샷이 어떤 이벤트에 해당되는 샷인지를 식별하기 위해 카메라 움직임(Camera motion), 모션 강도(Motion activity), GOP (Group Of Pictures), 에지 히스토그램(Edge histogram), 동형 질감(Homogeneous texture) 등의 MPEG-7 메타데이터들을 통합적으로 사용하였다. 한 예로, Tee-샷을 이루는 세그먼트는 골프채를 휘두르는 앞부분과 공이 날아가는 뒷부분으로 나누어질 수 있는데, 앞부분의 경우 골프채의 움직임에 의한 세그먼트 검출을 위해 모션 강도를 사용하고, 뒷 부분의 경우 하늘이나 숲 사이로 공이 날아가는 부분을 추출하기 위해 에지 히스토그램과 칼라 히스토그램을 통합적으로 사용한다. 이렇게 하여 추출된 앞,뒤 부분에 해당하는 세그먼트들을 합치면 Tee-샷을 이루는 전체 세그먼트를 얻을 수 있다.
식별된 각 세그먼트의 시작 프레임과 구간 정보가 SegmentGroupInformation DS형태로 XML문서에 저장되면, 일반 사용자들은 이 문서를 전송 받아 브라우저를 통해 봄으로써 해당 비디오 컨텐츠에서는 내용 정보를 보다 빨리 효율적으로 파악할 수 있다.
해당 알고리즘의 유용함을 보이기 위해 골프 비디오에 대한 video summary generation tool을 구현하였다. 구현된 툴을 이용한 실험은 MPEG-7 메타데이터의 통합 사용에 의한 summary generation이 합리적이고 정확한 요약문을 생성함을 보여주었다.
