In image sequence coding, motion estimation (ME) and motion compensation (MC) techniques play an important role to reduce the information transmission rate while preserving the acceptable image quality. Most video coding standards use local motion estimation only to form a prediction of the current frame. However, in general, both global motion caused by the movement of the camera and local motion caused by the movement of the object exist in the image sequences. Therefore, the global ME and MC can improve the motion prediction and reduce the side information greatly.
In this dissertation, we present several methods for estimating and compensating 3D camera motion in image sequences for the applications to the video coding system. First, we present a new linear motion parameter model which describe the camera motion parameters : zoom, pan, tilt, swing, and focal length. To estimate camera motion parameters based on the proposed model, the mixed least squares - total least squares (MLS-TLS) method is proposed. The proposed estimation procedure consists of feature correspondence establishment, finding the parameters by fitting the correspondence data to the proposed model equation, and outliers rejection to reduce feature matching error. Unlike the existing linear least squares techniques, the proposed method accurately estimates even the large rotation angles and the focal length. Experimental results show that the proposed method outperforms the conventional methods under identical conditions, especially for a large rotation images.
Second, in order to improve the estimation accuracy of the global motion parameter, we propose an efficient outlier rejection method which selects the reliable observation points adaptively and eliminates the bad observation points effectively. Unlike the existing linear recursive algorithms with an arbitrary thresholding, the proposed algorithm converges fast and is robust to feature matching error. Experimental results show that the proposed method improves the coding efficiency and reduces the computation time.
Finally, we describe a robust sequential method for estimating and compensating 3D camera parameters in motion with acceleration and deceleration in video sequences. To accurately estimate time-varying camera motion parameters : zoom, pan, tilt, swing, and focal length, the linear system dynamic model is proposed. Then, the Kalman filtering method is used to solve it in the presence of measurement noise. Unlike the existing global motion estimation methods, the proposed method accurately tracks the actual 3D camera parameters in the noisy image sequence. Experimental results show that in comparison with the conventional estimation methods, the proposed method provides more reliable estimates in the noisy image sequences and improves the global motion prediction, especially in which a camera moves with various velocities.
영상 시퀀스 부호화에서 움직임 추정 및 움직임 보상 기법은 좋은 영상화질을 유지하면서 정보 전송율을 줄이는 데에 있어서 매우 중요한 역할을 한다. 대부분의 비디오 부호 표준화 방식들이 현재 프레임을 예측하기 위해 오로지 국부 움직임 추정 기법만을 이용하고 있는데, 일반적으로 영상 시퀀스에는 카메라 움직임에 의한 전역 움직임과 물체의 움직임에 의한 국부 움직임이 존재한다. 그러므로 전역 움직임 및 보상 기법을 통해 움직임 예측을 개선시킬 수 있을뿐만 아니라 정보 전송량을 많이 줄일 수 있다.
본 논문에서는 비디오 부호화 시스템에서 전역 움직임 추정 및 보상기법의 성능을 향상시킬 수 있는 여러가지 3차원 카메라 움직임 추정 기법들에 대해 연구하였다.
첫째로, 카메라의 줌, 초점거리, 그리고 넓은 범위의 3차원 회전등을 충실히 묘사할 수 있는 새로운 선형 움직임 파라미터 모델을 제시하고, 측정 잡음이 존재하는 상황에서 3차원 카메라 움직임 파라미터들을 정확히 추정하기 위해 혼합된 최소자승-전체최소자승 (mixed least squares-total least squares) 기법을 제안한다. 제안된 카메라 움직임 추정과정은 특징점 추출, 제안된 모델식에 맞는 파라미터 산출, 그리고 외부자(outlier) 제거등의 과정들로 구성된다. 실험 결과, 기존의 선형 최소자승 기법들과 달리 제안된 기법은 큰 회전각 및 초점거리들을 정확히 추정할 수 있었으며, 비디오 부호화 효율측면에서 제안된 기법을 적용한 움직임 예측 보상 방식이 기존의 움직임 예측 보상 기법들보다 성능이 우수함을 볼 수 있었다. 특히 카메라 움직임이 큰 비디오 시퀀스들에 적용하여 훨씬 우수한 성능을 나타내었다.
둘째로, 카메라 움직임 파라미터의 정확한 추정을 위하여 바람직한 측정치들을 선택하고 잘못된 측정치들을 효과적으로 제거할 수 있는 개선된 외부자 제거 방식을 제안한다. 임의의 임계치에 의한 외부자 제거 방식과 달리 제안된 방식은 빠른 수렴과 정합오류에 강인한 특성을 가진다. 실험결과, 제안된 방식을 적용하여 카메라 움직임 예측 보상시 부호화율을 개선시키며 계산시간도 줄임을 알 수 있었다.
마지막으로, 다양한 가속도를 가지고 변하는 카메라의 움직임을 효율적으로 추정하기 위한 강인한 알고리즘을 제안한다. 이를 위해 시간적으로 변하는 3차원 카메라 움직임 파라미터들에 대한 선형 시스템 동적 모델을 제안하고, 칼만 필터를 사용하여 카메라 파라미터 들을 추정하였다. 실험결과, 제안된 방식이 기존의 방식들보다 잡음환경에서 보다 더 정확히 카메라의 움직임을 추정함을 알 수 있었다.
본 논문에서 제안된 방식들은 카메라 추적 시스템, 모델기반 비디오 부호화기 및 기존의 비디오 부호화기등에 적용하여 부호화율을 개선시킬 수 있다.
