This dissertation presents a spatio-temporal graph based method of detecting and tracking moving ob-jects by treating the encoded blocks with non-zero motion vectors and/or non-zero residues as potential parts of objects in H.264/AVC bitstreams and H.264/SVC bitstreams. In the H.264/AVC scheme, a spatio-temporal graph is constructed by first clustering the encoded blocks of potential object parts into block groups, each of which is defined as an attributed subgraph where the attributes of the vertices represent the positions, motion vectors and residues of the blocks. In order to remove false-positive blocks and to track the real objects, tem-poral connections between subgraphs in two consecutive frames are constructed and the similarities between subgraphs are computed, which constitutes a spatio-temporal graph. For the H.264/SVC scheme, an efficient detection and reliable tracking of real moving objects are first performed in the spatial base layer of H.264/SVC based on a spatio-temporal graph which is constructed from the block partitions with non-zero motion vectors and/or non-zero residue information. The spatio-temporal graph is utilized in reliably maintaining the real mov-ing objects of being detected and tracked by removing false detected objects via graph pruning and graph projection. Graph matching is then performed to precisely identify the real moving objects over time even under occlusion. Finally, region of interests (ROIs) of the detected objects are constructed as rectangles that encapsulate the block groups that represent the objects. To approximate the real shape and location of the objects, an ROI refinement process is performed. ROI refinement is also performed to determine the identification of two occluded objects during occlusion, which can be determined from the attributes of their vertices. For low-complex but accurate detection and reliable tracking of moving objects in spatial enhancement layer of H.264/SVC, inter-layer graph mapping and intra-layer graph refinement are used without performing graph pruning, graph projection and graph matching which are mostly performed in the spatial base layer. For this, the identified block groups of the real moving objects in the spatial base layer are then mapped to the spatial enhancement layer to provide accurate and efficient object detection and tracking in the bitstreams of higher spatial resolution. Experimental results show the proposed method can produce reliable results by reducing the computational complexity down to 27% compared to fully performing graph processing in both spatial base and enhancement layers of H.264/SVC test bitstreams by keeping the reliability of the detection in detecting small objects, object occlusions and object separation.
비디오 감시 및 분석에 관한 연구는 컴퓨터 비전 분야의 흥미로운 주제 중 하나로 많은 방법들이 연구되고 있다. 비디오 감시 시스템에서는 기록되거나 스트리밍된 비디오를 이용하여 의심스럽거나 관심 있는 객체의 행동들이 이루어지는 영역들을 지정하여 관찰한다. 일반적으로 감시 시스템은 사람이 직접 감시과정을 감독하거나 감시 기간, 발견된 객체의 수, 객체의 행동 등에 대한 정보를 직접 기록해야 한다. 이러한 문제와 관련하여 자동으로 감시하고 이에 대한 정보를 기록 할 수 있는 감시 시스템은 사람이 직접 그 역할을 수행하기 어려운 상황에서 더욱 더 큰 효과를 발휘 할 수 있다. 실제로 몇몇 비디오 감시 시스템들은 물체를 검출하고 움직임을 추적할 수 있으나 물체들을 자세히 구분할 수가 없다는 한계가 있다.
본 박사학위논문에서는 H.264/AVC와 H.264/SVC 비트스트림 영역에서 움직이는 객체들을 검출하고 추적하는 그래프 기반 새로운 알고리즘을 제안한다. H.264/AVC는 크게 향상된 압축 성능을 바탕으로 고화질의 스트리밍 또는 방송 서비스를 목적으로 제정된 비디오 압축 표준이고 이전의 비디오 부호화 방식들에 비해서 다양한 블록 크기를 갖는 움직임 보상, 4×4 크기를 갖는 정수 변환, 1/4화소 단위의 정확성을 가지는 부화소 움직임 보상, 또는 움직임 보상을 위한 다중 참조 영상 등의 등의 기술을 채택하여 부호화 효율을 크게 향상 시켰다. H.264/SVC (Scalable Video Coding) 는 H.264/AVC 비디오 확장 표준으로 시간, 공간 및 화질계층의 확장성기능을 제공하며 H.264/AVC의 기본 계층은 H.264/AVC와 상호호환적으로 부/복호화가 가능하도록 설계되었다. H.264/SVC의 확장성 비트스트림은 이종 단말장치와 네트워크에서 쉽게 적용 될 수 있다. 감시 응용분야에서는 이러한 확장성 기능이 각기 다른 목적의 감시 비디오 기록을 가능케 한다.
본 박사학위논문에서 제안된 방법은 다음과 같이 요약할 수 있다. 첫째로, H.264/AVC 비트스트림에서 0이 아닌 움직임 벡터와0이 아닌 잔차가 있는 블록, 그리고 두 개의 프레임 사이에서 그들의 관계를 나타내는 시공간 그래프를 구성한다. 다음으로 그래프 기반 처리를 수행하여 관심지역을 결정하고 움직이는 객체를 검출하여 추적한다. 각 프레임당 하나의 공간 그래프를 블록집단으로 군집화하여 위치, 움직임 벡터, 블록들의 차분 등의 속성을 꼭지점으로 하는 부그래프들을 구성한다. 두 프레임 간의 시공간 그래프는 두 프레임 간의 두 부그래프를 연결하여 구성한다. 부그래프들은 시공간 그래프의 꼭지점들을 나타내며 부그래프 쌍들간의 속성 유사성은 두 꼭지점간의 경계 가중치를 결정한다.
제안된 방법은 공간과 시공간 그래프의 능력을 활용하여 가장 작은 단위로 나눠진 블록을 관찰하여 작은 객체들을 검출하고, 시공간 그래프 전지작업을 수행하여 긍정 오류로 검출된 블록집단을 제거하며, 움직이는 객체를 프레임간 또는 폐색 도중에 그래프 매칭을 통하여 안정적으로 식별하고, 검출된 블록집단 내의 블록 수가 변동함에도 순응적으로 관심지역을 조정하여 실제 객체 모양을 근사한다. 실험결과는 제안한 계획이 다양한 배경조건에서 정확한 관심지역 보정을 통하여 다른 크기의 객체를 효과적으로 검출하고 추적할 수 있음을 보여준다.
제안된 방법은 H.264/SVC 비트스트림에서 공간적 기본 계층에서의 그래프 표기를 바탕으로 움직임과 차분정보를 활용한 움직이는 객체의 자동 검출을 가능하게 하고, 긍정 오류로 검출된 모든 객체를 그래프 전지작업과 그래프 투영을 통하여 제거하여 시간영역에서 실제 검출된 객체들의 시간적 일관성을 유지하고, 그래프 대조를 통한 두 프레임간의 블록 집단의 유사성을 활용한 실제 움직이는 객체를 추적한다. 보다 정확한 검출과 공간 향상 계층에서의 안정적인 움직임 객체 추적을 위하여, 계층간 그래프 매핑, 화면 내 계층간 그래프 보정 기법이 이용되며, 이러한 방법들은 공간 향상 계층에서 그래프 전지, 그래프 사상 및 매칭을 수행하지 않기 때문에 아주 작은 연산량이 필요하다. 이를 위하여 공간적 기본 계층들에서 식별된 실제 움직이는 객체들의 블록 집단들은 공간 향상 계층으로 사상되어 정확하고 효과적인 객체 검출과 비트스트림에서의 더 높은 해상도를 갖는 향상 계층에서 객체 추적을 가능하게 한다. 결과적으로 제안한 방법은 공간 기반과 H.264/SVC 비트스트림의 향상 계층에서 실제 움직이는 객체가 포함된 관심지역을 적은 연산량에도 비교적 안정적인 정확도의 검출과 추적을 가능하게 한다.
