This paper proposes an effective inter-frame object tracking method from inter-frame object masks in MPEG-2 decoder. This method can facilitate object-based interactive service in MPEG-2 system.
To define objects exactly in moving picture, object masks for all frames must exist. However, all successive inter-frame object masks can be tracked from intra-frame object masks in MPEG-2 decoder using motion vector associated with inter-frame object masks. Therefore, it is possible to define objects in video sequence with a little increment of transmission data. As a result, frame-based MEPG-2 system can have object-based access capability if intra-frame object masks can be segmented before the MPEG-2 encoder.
In this paper, object mask tracking procedure consists of four steps. The reference object mask can have more than one object. Firstly, each object in reference mask is separated using watershed labeling. Then only one object exists in each object mask. Secondly, object mask tracking in MPEG-2 decoder is performed by reconstructing inter-frame object mask using motion vector for each object mask. Thirdly, watershed algorithm is applied in order to eliminate errors that might occur during reconstruction procedure. In the watershed algorithm, each object and error in the image is labeled and only erroneous blocks or pixels in the background area can be removed by area comparison scheme. Finally, all object masks are combined into a single inter-frame object mask.
With this object-based access in MPEG-2 decoder, various object-based applications can be possible, such as education and e-commerce.
본 논문에서는 MPEG-2 디코더에서 인트라 프레임 객체 마스크로부터 인터 프레임 객체 마스크 추적을 위한 효과적인 방법을 제안한다. 이 방법을 통해 MPEG-2 시스템에서 객체 기반 액세스를 가능하게 하고자 한다.
동화상에서 객체를 정확하게 정의하기 위해서는 모든 프레임에 대해서 객체 마스크가 존재해야만 한다. 하지만 MPEG-2 디코더에서 인트라 프레임 객체 마스크로부터 연속되는 인터 프레임 객체 마스크가 해당 프레임의 움직임 벡터를 이용하여 추적될 수 있다. 결과적으로 MPEG-2 인코더 이전에 인트라 프레임에 대한 객체 마스크가 생성되어 있다면, 프레임 기반의 MPEG-2 시스템에서도 객체기반 액세스가 가능하게 된다.
본 논문에서 객체 마스크 추적 과정은 4 단계로 구성된다. 첫번째로 기준 프레임에 하나 이상의 객체가 존재할 수 있는 경우를 대비하여, 추적을 위한 기준 프레임에서 watershed 알고리즘을 이용하여 각각의 객체를 분리한다. 그러면 각각의 분리된 객체 마스크에는 단 하나의 객체만 존재하게 된다. 두번재로 MPEG-2 디코더에서 각각의 객체 마스크에 대하여 움직임 벡터를 이용하여 reconstruction 을 통해 객체 마스크를 재생한다. 세번재로 reconstruction 과정에서 발생하는 에러를 제거하기 위하여 watershed 알고리즘을 적용한다. 이때 실제의 객체를 제외한 에러는 각각의 면적을 비교함으로써 제거될 수 있다. 마지막으로 각각의 분리된 객체 마스크는 하나의 인터 프레임 객체 마스크로 병합된다.
이러한 방법을 통한 MPEG-2 디코더에서의 객체 기반 액세스를 이용하여 교육방송과 상업방송의 등과 같은 다양한 목적으로 객체 기반 응용이 가능하다.
