In this dissertation, we deal with the problems of online motion segmentation in dynamic scenes and its application to generic object hypotheses generation for window-based object detection.
First, we present an algorithm of online motion segmentation that runs rapidly with low computational complexity for processing streaming images. For rapid operation with low computational complexity, we represent feature points tracked over the frames, using a spatial neighbor graph. Furthermore, for multiple-frame observation of the feature points, we utilize a sliding temporal window, and compute the affinities for each point pair on the graph, through motion analysis based on multi-temporal sections in the sliding temporal window. Then, these points are optimally segmented, producing motion-segmented points.
Second, we tackle the problem of online motion segmentation in highly dynamic 3D scenes. In order to generate trajectories of feature points in highly dynamic scenes, we propose a method of finding corresponding points through competition between dual correspondences. Then, we select point trajectories considered less corrupted by the errors, and use only these selected point trajectories for motion segmentation. Moreover, for motion segmentation in 3D scenes where strong perspective effects of 3D objects exist, we present a sampling method for generating motion hypotheses in 3D scenes.
Lastly, we handle the application of motion segmentation to generic object hypotheses generation for window-based object detection. We present a motion-based objectness score, which is computed using the motion-segmented points. Then, we combine the motion-based score with the existing appearance-based score, producing the combined objectness score of motion and appearance.
Through experiments, we demonstrated that the proposed motion segmentation algorithm rapidly ran online, producing the results comparable with those of recent offline methods, and also verified the effectiveness of proposed method in highly dynamic 3D scenes. Furthermore, by the use of the proposed combined objectness score, we could achieve superior results of generic object hypotheses generation.
주어진 영상에서 물체들을 분할하는 것은 영상의 이해를 위해 매우 중요한 과정이다. 영상에서의 모션은 그 영상에 존재하는 물체들을 분할하는데 있어 매우 중요한 단서다. 컴퓨터 비전에서는, 여러 프레임들을 거쳐 추적된 점 궤적을 갖는 특징점들이 물체들이 그 프레임들을 거쳐 어떻게 움직였는지를 나타낸다. 모션 기반 특징점 분할이란 이런 점 궤적을 갖는 특징점들을 각기 유사한 모션을 갖는 특징점들의 집합들로 분할하는 것을 가리킨다. 이런 모션 기반 특징점 분할 기법은 영상에서의 동적 물체 분할을 위한 필수 과정으로 활용되고 있다.
한편, 근래 하드웨어의 발전에 따라 휴대 가능한 소형 카메라 시스템이 널리 사용되고 있다. 현재 대부분의 시스템들의 기능이 영상 녹화 및 저장에 국한되어 있지만, 가까운 미래에는 실시간 물체 검출 등의 기능을 갖춘 시각 인지 장치로서 다양한 분야에 활용될 것으로 기대된다. 이런 미래 활용 분야를 위한 모션 기반 특징점 분할 기법은 실시간으로 입력되는 영상을 처리할 수 있도록 온라인으로 동작할 수 있어야 하며, 급격한 변화가 있는 동적인 장면에서도 양질의 결과를 만들어내야 한다. 하지만, 기존의 많은 모션 기반 특징점 분할 기법들이 높은 계산적 복잡도를 갖고 있어 온라인 동작이 어려우며, 특징점들의 궤적에 있어 오차가 거의 없는 제한적으로 동적인 장면만을 다뤘다. 또한, 특징점들의 모션을 표현하기 위한 모션 모델에 있어서도 2차원 혹은 제한적인 3차원 모델만을 사용하였다.
본 연구에서는 낮은 계산적 복잡도를 갖고 온라인으로 동작하면서도, 급격한 변화가 있는 동적인 장면에서도 높은 분할 성능을 보이는 모션 기반 특징점 분할 기법을 제안한다. 그리고, 이 모션 기반 특징점 분할 기법의 결과물을 이용해, 윈도우 기반 물체 검출에 활용될 수 있는, 물체가 있을만한 직사각형 형태의 윈도우 영역(즉, 일반적 물체 영역)을 재빠르게 지정하는 방법을 제안한다.
우선, 슬라이딩 시간 윈도우를 이용한 낮은 계산적 복잡도를 갖는 모션 기반 특징점 분할 기법을 제안한다. 본 연구에서는 모션 기반 특징점 분할 문제를 그래프 군집화 문제로서 접근한다. 현재 입력된 프레임에 존재하는 특징점들을 노드와 에지로 구성된 그래프로 표현한다. 이때 그래프의 각 노드들은 각 특징점과 대응되며, 낮은 계산적 복잡도를 위해 공간상에서 이웃된 특징점들만의 연결을 에지로 구성한다. 이 에지의 가중치는 특징점들 사이의 모션에 있어서의 유사도로 설정이 된다. 여러 프레임 관찰에 기반한 유사도 계산을 위해, 슬라이딩 시간 윈도우 내 다중시간 구간에서의 모션 분석을 통해 유사도를 계산해 해당 에지의 가중치로 설정한다. 그런 다음, 구성된 그래프 상의 최적 군집화 과정을 통해 특징점들의 최적 분할된 결과를 얻는다.
다음으로, 급격한 변화가 있는 동적인 3차원 장면에서의 모션 기반 특징점 분할 문제를 다룬다. 이런 동적인 장면에서, 기존의 특징점 추적 방법을 사용해 특징점들의 궤적을 생성할 경우, 많은 오차를 포함하거나 특정 영역에 있어 궤적 생성을 못 하는 경우가 많다. 이런 문제를 해결하기 위해, 본 연구에서는 각기 다른 동작 원리를 가진 두 개의 특징점 추적 방법을 결합해 특징점들의 궤적을 생성하는 방법을 제안한다. 또한, 생성한 특징점 궤적들의 여러 프레임에 따른 모습 일관성 및 이동에 있어서의 다른 특징점들과의 일관성을 계산해 잠재적인 정상 특징점 궤적들만을 선택해 모션 기반 특징점 분할 기법에 적용하는 방법을 제안한다. 아울러, 3차원 물체들의 원근 효과를 처리하기 위해, 3차원 모션 모델을 활용하는 방법을 다룬다.
마지막으로, 앞서 구한 모션 기반 특징점 분할 기법의 결과물을 이용해, 윈도우 기반 물체 검출에 활용될 수 있는, 윈도우 형태의 일반적 물체 영역들을 재빠르게 지정하는 방법을 제안한다. 제안한 방법에서는 임의의 위치에 윈도우 영역들을 위치시켜 놓은 후, 각 영역이 물체를 포함하고 있을 정도를 나타내는 점수값 계산과 그 점수값 최대화를 위한 영역 재지정 과정을 반복해, 물체가 있을만한 윈도우 영역들을 지정한다. 이를 위해, 모션 기반 특징점 분할 기법의 결과물인 분할된 특징점들과 영상에서의 모습 정보를 이용해, 어떤 윈도우 영역이 물체를 포함하고 있을 정도를 나타내는 점수값을 계산하는 방법을 제안한다.
여러 실험을 통해, 제안한 모션 기반 특징점 분할 기법이 낮은 계산적 복잡도를 갖고 온라인으로 동작하면서도, 기존의 오프라인 방법에 버금가는 분할 성능을 보임을 확인하였다. 더욱이, 급격한 변화가 있는 동적인 3차원 장면에서도 활용이 가능함을 보였다. 또한, 윈도우 기반 물체 검출을 위해, 제안한 모션 기반 특징점 분할 기법의 결과물이 영상에서의 물체가 있을만한 윈도우 영역을 빠르게 지정하는데 효과적으로 사용될 수 있음을 보였다.
