An object detection and tracking technique has been an important issue traditionally in the field of computer vision and video processing since it enables efficient analysis of video contents. It can be utilized not merely for surveillance systems but also for interactive broadcasting services.
However, most of current object detection and tracking techniques which utilize only raw pixel data are not practical due to tremendously high computational complexity. Furthermore, most of videos tend to be communicated in the form of encoded bitstreams in order to enhance the transmission efficiency. In that case, the pixel domain approach requires additional computation time to fully decode the encoded bitstream.
In the meantime, H.264|AVC technology has been a popular compression tool for videos due to its high coding efficiency and the availability of its real-time encoding devices. Fortunately, the H.264|AVC bitstream contains encoded information such as motion vectors, residual data, and macroblock types which can be directly utilized as effective clues for object detection and tracking. The traditional compressed domain algorithms which make use of such encoded information have shown fast computation time with low computational complexity. However, these algorithms are available only under limited circumstances. In addition, they are difficult to be followed by the color extraction of objects or the object recognition which distinguishes one object from other objects.
In this thesis, two methods for moving object detection and tracking with partial decoding in H.264|AVC bitstream domain are introduced. While one approach is the semi-automatic method which users can initially select a target object in stationary or non-stationary scenes, another approach is the automatic method which all moving objects are automatically detected and tracked especially in stationary scenes. The former is beneficial to metadata authoring tools which generate additional contents like the position information of an object for the interactive broadcasting service. On the other hand, the latter is effective for surveillance systems with fixed cameras. Unlike conventional compressed domain algorithms, the proposed methods utilize partially decoded pixel data for object detection and tracking. Therefore, these methods show reliable performance in various scene situations as well as fast processing time enough to be performed in real-time. Also, these methods can support the color extraction of objects or the object recognition.
동적 객체 인식 및 추적 기술은 지능적인 영상 시스템에 포함되는 중요한 기능으로서 주로 픽셀영역에서 컴퓨터 비전 기술을 이용하여 연구되어 왔다. 대부분의 영상 시스템에서는 객체 인식 및 추적이 실시간으로 수행되어야 하지만, 픽셀영역 접근방법은 상당한 양의 계산량을 요구하기 때문에 직접적으로 적용되기 어렵다. 최근 하드웨어 및 소프트웨어 기술의 발달로 인하여 이러한 어려움은 상당히 감소되었지만, 다중 분산 감시 시스템과 같은 대규모 영상 시스템에서는 제한된 자원으로 많은 양의 동영상 데이터를 처리하기에는 여전히 어려움이 존재한다.
한편, 일반적으로 사용되는 대부분의 동영상 데이터는 MPEG과 같이 압축된 형태로 전송되는데, 이러한 압축 동영상은 움직임 벡터나 잔차신호와 같이 객체 인식 및 추적에 이용 가능한 정보를 담고 있다. 따라서, 이러한 정보를 이용하여 동영상 데이터를 완전히 복원하지 않고 압축된 상태에서 직접 객체 인식 및 추적을 수행함으로써 처리속도를 빠르게 하는 기술, 즉 압축영역 접근방법이 최근 연구되고 있다.
본 학위 논문에서는, H.264|AVC로 압축된 동영상 데이터 및 부분 복원된픽셀정보를 이용하여 빠르면서도 정확한 객체 검출 및 추적을 수행하기 위한 두 종류의 새로운 알고리즘들을 제안한다. 첫 번째 알고리즘은 반자동 알고리즘으로서 사용자가 선택한 객체의 특성점을 텍스쳐, 형태, 및 움직임 특성에 따라 적응적으로 추적하는 비유사성 최소화 알고리즘이다. 두 번째 알고리즘은 시공간적 매크로블록 필터, 배경 제거, 및 움직임 보간 등의 방법이 사용되는 자동 알고리즘으로서, 카메라가 정지되어 있는 환경에서 이용 가능하며 여러 객체를 동시에 추적할 수 있다.
제안된 알고리즘은 실시간 처리가 가능할 정도로 빠른 처리속도를 유지하면서도 기존의 압축 영역 알고리즘에서 다룬 영상보다 더욱 복잡한 영상에서도 객체 인식 및 추적이 가능하다는 점에 있다. 예를 들어, 기존의 압축 영역 알고리즘은 카메라가 보는 방향으로 움직이는 객체의 추적은 다루지 않는 반면, 제안된 자동 알고리즘에서는 그러한 객체의 움직임을 비교적 정확하게 추적할 수 있다. 반면, 제안된 반자동 알고리즘은 변형되거나 복잡한 배경에서 빠르게 움직이는 객체에 대한 추적이 가능하다.
특히 제안된 알고리즘에서는 부분 복원 기술을 이용하여 객체의 컬러 정보 추출이 가능하다는 특징이 있다. 이러한 객체의 컬러 정보는 대화형 방송을 위한 메타데이터 또는 여러 객체를 구분하기 위한 단서로 활용될 수도 있다. 따라서 제안된 알고리즘은 이러한 부분 복원 기술을 이용하여 압축 영역 기술과 픽셀 영역 기술의 장점을 결합한 새로운 형태의 알고리즘으로서, 향후 기존의 압축 영역 알고리즘이 지닐 수 없는, 가령 객체 인식 같은, 더욱 향상된 기능으로 발전될 수 있는 가능성을 지니고 있다.
