This thesis explores motion segmentation and 3D structure recovery from the image sequences that are captured by uncalibrated cameras. Recently, the needs of the extraction of information from the video sequences arise in many areas such as multimedia application, virtual reality, and augmented reality. The main difficulty to process video sequences comes from the unknown parameters of camera and multiple motions in the scene.
This thesis presents a segmentation algorithm, which separates given sequences into two groups. One group is the area that corresponds to the static background under the moving camera, and it can be represented with uncalibrated 3D motion model and projective depth at each pixel. The other group is the area that corresponds to the multiple moving objects. These initial cues can be used effectively for the further processing. Robust direct motion estimation algorithm that considers the depth discontinuity is presented, and it uses an uncalibrated 3D motion model that is the most general motion model under the pin-hole camera assumption with uncalibrated cameras. Dominant motion corresponding to the ego-motion of camera is extracted by the proposed algorithm. Moving objects can be extracted by investigating the difference of the brightness value between the original and compensated image. But, this can hardly detect the homogenous regions on the moving objects. To solve this problem we employ Markov Random Field formulation that effectively uses the contextual information of the image.
The results computed by above algorithm are on the projective domain. Calibration information is needed to convert it to the Euclidean. For this, two calibration algorithms are presented. One is a calibration algorithm that uses one type of scene constraint of known angles between lines. The other is an improved self-calibration algorithm using the additional constraints on the position of the principal points. The proposed calibration algorithm by known angles can be effectively used in reconstructing man-made objects, in particular.
To integrate the segmentation of moving objects and 3D recovery of a given scene into one framework for the processing of the image sequence, we present sequential robust direct motion estimation algorithms. Since these algorithms yield projective information under equal basis, we can directly apply metric recovery through self-calibration and motion segmentation. One algorithm requires the computation of the homography matrix and can use redundant information in the sequence effectively. The other algorithm proceeds without the computation of the homography matrix, but this algorithm currently has no mechanism for the effective use of the redundant information in the sequence. Experimental results using the image sequence that contain the camera motion and also independently moving objects demonstrate the usefulness of the proposed framework.
본 논문은 카메라의 운동과 함께 카메라에 대해 독립적인 운동을 하는 물체들이 존재하는 비디오 영상등에서 카메라의 운동 성분 추출, 독립적인 운동 물체들의 검출 및 주어진 대상 공간의 삼차원 복원을 수행하는 통합적인 방법론을 다룬다. 먼저, 일반적인 비디오 영상의 처리를 위해 비보정 삼차원 운동 모델에 기반한 강인한 직접 운동 추정 방식을 사용하며, 거리 경계에서의 성능 향상을 위한 방법을 제시한다. 주어진 영상은 제시한 방법론에 의해 두개의 그룹으로 분리된다. 첫 번째 그룹은 카메라의 운동에 부합하는 정지한 배경에 해당하는 영역이다. 비보정 삼차원 운동 모델을 이용하므로 카메라의 보정 정보를 모르는 경우에도 대처할 수 있으며, 핀 홀 카메라하의 일반적인 사영 투영 모델이므로 복잡한 영상등에 대처할 수 있다. 두 번째 그룹은, 카메라의 운동에 부합하지 않는 영역이며, 이는 카메라에 대해 독립적인 운동을 하는 물체들이다. 본 연구에서는 이들의 검출을 위해 강인 추정 기법을 사용한다. 연속 영상의 처리시 기본 처리 단위는 두 장씩이며 이들로부터 운동 물체의 검출과 삼차원 복원을 위해서는 하나의 좌표계로 통일하는 것이 필요하다. 이상에서 우리가 얻을 수 있는 정보는 사영 변환하의 삼차원 좌표와 비보정 카메라 인자값이다. 비보정 카메라하에서 복원된 사영 변환하의 좌표를 유클리디안 좌표로 변환하기 위해서는 카메라의 보정 정보가 필요하다. 기존의 카메라 보정 방법은 기지의 보정 박스를 이용하며, 최근에는 이미지상의 정보만을 이용한 카메라 자율 보정이 활발히 연구되고 있다. 본 논문에서는 삼차원 공간상의 임의의 두 직선 사이의 알려진 각도를 이용한 보정 방법과 이미지 중심에 관한 제약 조건의 추가에 의한 향상된 자율 보정 방법을 제시한다. 각도를 이용한 보정 방법은 인간에 의해 만들어진 구조물의 복원등에 유용하게 사용될 수 있으며, 보정 박스를 필요로 하지 않으므로 좀 더 유연하게 보정을 수행 할 수 있다. 또한, 이미지 중심에 관한 제약 조건의 사용에 의한 향상된 보정 알고리듬을 제안하였다. 이들은 모두 비선형 최소화 과정을 통해 해를 찾으며, 초기해의 위치에 민감하게 의존한다. 본 연구에서는 보다 안정적인 초기해의 획득을 위한 새로운 방법을 제시한다. 연속 영상의 처리를 위해 동일 좌표계하의 사영 정보를 제공하는 순차적인 강인 추정 방법을 제시한다. 제안된 방법을 통해, 연속 영상의 처리시 움직이는 물체의 분리와 삼차원 공간의 유클리디안 복원과정이 하나의 통합된 알고리듬하에 적용될 수 있을 것이다. 카메라의 운동과 함께 카메라에 대해 독립적인 운동을 하는 물체가 포함된 영상을 이용한 실험 결과를 통해 본 논문에서 제시한 알고리듬의 타당성을 보인다.
