As the amount of multimedia has been rapidly increased with wide a spread of Internet service and multimedia technologies, users are likely to consume multimedia contents efficiently and actively. Video content analysis to provide various services such as video indexing, retrieving and abstracting has become important. In the video content analysis, semantic event detection is needed for a practical application. But most of semantic event detection algorithms are dependent on video contents and required heuristic parameter determination.
In this paper, we propose an event detection algorithm using Hidden Markov Model (HMM) in golf video. HMM is suitable to characterize the temporal pattern of semantic events as well as the instantaneous characteristics of each event because it is a probabilistic model based on Markov process.
To apply an HMH in golf video, we defined three semantic events: 'Drive', 'Bunker', and 'Putting'. Then we modeled the HMMs for each semantic event. Finally, with the models of each event, we adopted MPEG-7 visual features to distinguish each state in HMM.
Compared with previous semantic event detection, the proposed algorithm has two advantages. One is that the proposed method could provide a generalized event detection method which is robust for various contents. The other is a high accuracy of detection ratio to determine the segment boundary of detected events.
To prove the usefulness of the proposed algorithm, we performed experiments with four golf videos; each of the videos is about 40 minutes long. The experiment results show that the accuracy of the event detection is about 80% on average. Also we could observe that segment boundary of detected events are more accurate than the previous methods.
최근 멀티미디어 컨텐츠가 급격히 늘어나면서, 비디오 색인, 검색, 요약을 위한 비디오 컨텐츠 분석에 관한 연구가 활발히 진행되고 있다. 의미있는 이벤트 검출은 비디오 컨텐츠 분석에서 매우 기본적이고 중요한 기술이다. 현재까지 의미있는 이벤트 검출 방법에 관한 연구가 진행되어 왔지만, 대부분의 알고리즘이 컨텐츠에 종속적이고, 경험적으로 변수값들을 결정해 주어야 하기 때문에 이러한 문제점들을 보완하기 위한 수많은 연구들이 필요하다.
이벤트 검출에 관한 연구는 스포츠 비디오에서 활발하게 진행중이다. 이것은 스포츠 비디오의 경우, 관심있는 이벤트가 매우 구조적이고, 반복되는 경향이 있기 때문에 이벤트 검출에 기반한 비디오 요약이나 색인 기술이 다른 장르보다 훨씬 더 효율적이기 때문이다. 현재까지 스포츠 비디오의 이벤트 검출을 위한 많은 연구들이 있었다. 예를 들어 오디오 특징 정보만을 이용한 야구경기의 하이라이트 생성, 최대 엔트로피 방법에 기반한 장면 분류, 압축영역에서 테니스 경기의 구조적인 분석을 통한 실시간 서브 이벤트 검출에 관한 연구가 있었다. 또한 최근에는 은닉 마르코프 모델(Hidden Markov Model)을 이용한 이벤트 검출 방법들이 연구되고 있다.
본 논문에서는 다양한 스포츠 장르 중에서도 골프 비디오에 대한 의미있는 이벤트 검출을 시도한다. 현재 골프 인구와 컨텐츠가 급격히 증가함에 따라 다양한 서비스가 요구되고 있다. 또한 골프 비디오는 다른 스포츠 종목과는 달리 긴 방송시간에 비해 실제 관심있는 컨텐츠의 시간은 짧게 나오기 때문에 비디오 요약 같은 서비스는 매우 유용하다. 하지만 아직까지 골프에 대한 연구는 미미한 실정이다. 게다가 기존의 연구결과도 몇 가지 문제점들을 가지고 있다. Peker 는 모션의 강도만을 특징값으로 사용함으로써, 매우 낮은 검출율을 보여주고 있다. 또한 Kim 의 논문은 레퍼런스 매칭을 사용하기 위해 많은 임계값을 사용함으로써, 다른 컨텐츠에 적용이 힘들다.
이러한 문제들을 해결하기 위해 우리는 은닉 마르코프 모델과 다중특징값을 이용하여 의미있는 이벤트 검출 알고리즘을 제안한다. 은닉 마르코프 모델이 확률적인 모델이므로, 우리는 임계치를 사용할 필요가 없다. 또한 다중 특징값들은 검출의 정확도를 높여준다. 게다가 은닉 마르코프 모델은 마르코프 연쇄의 개념을 기반으로 하고 있기 때문에 골프 비디오의 시간적인 패턴을 잘 이용할 수 있으므로 이벤트의 세그먼트 구간도 매우 정확하게 검출할 수 있다.
은닉 마르코프 모델 분류기를 적용하기 위해선 골프 컨텐츠에 대한 분석이 필요하다. 우리는 먼저 3가지 이벤트를 정의하고, 각각 'Drive', 'Bunker', 'Putting'이라 명명하였다. 그런 다음 우리는 각각의 의미있는 이벤트에 대한 은닉 마르코프 모델을 구성하였다. 마지막로 각이벤트의 모델들을 가지고 우리는 각 상태를 구별할 수 있는 비주얼 특징값들을 분석 하였다.
우리는 실험을 통해 80%의 검출율을 얻었다. 또한 검출된 이벤트의 정확한 세그먼트 경계를 얻을 수 있었다.
기존의 방법들과 비교해 볼 때, 제안된 알고리즘은 두 가지 이점을 가진다. 먼저 경험에 의해 구해지는 임계값을 사용하지 않음으로써, 컨텐츠에 독립적인 일반화된 이벤트 검출 방법을 제공한다. 두번째는 스포츠 비디오의 시간적인(context) 정보를 사용함으로써 정확한 세그먼트 경계를 찾을 수 있을 수 있다.
본 논문에서 제안하는 알고리즘은 내용기반의 골프비디오 메타데이타 생성툴에 다른 스포츠 장르의 이벤트 검출을 위한 기본적인 모델로 활용될 수 있다.
