This thesis is concerned with the robust estimation of the optical flow from time-varying image sequence. The robust statistics has recently been adopted by the computer vision community. Various robust approaches in the computer vision research have been proposed in the last decade for analyzing the image motion from the image sequence. Because of the frequent violation of the Gaussian assumption of the noise and the motion discontinuities due to multiple motions, the motion estimates based on the straightforward approaches such as the least squares estimator and the regularization often produces unsatisfactory result. Robust estimation is a promising approach to deal with these problems because it recovers the intrinsic characteristics of the original data with the reduced sensitivity to the contamination. Several previous works exist and report some isolated results, but there has been no comprehensive analysis.
Multiple constraints are obtained by fusing the weighted data measured from various frequency channels based on two methods for image motion estimation, which have their respective strengths and weakness. Combined with a careful data filtering by the step edge analysis, the filtered data had a good quality of multiple constraints enough to reform data of a certain frequency channel or a certain estimation method. Moreover, the adaptive modeling technique proposed in this research is shown to balancing the numerical stability and the complexity of flow model provided by the normal flow data.
The robust approaches to the optical flow estimation armed with the adaptive flow modeling technique are proposed based on three robust estimators: the maximum likelihood estimator, the least median of squares (LMS) and the least trimmed squares (LTS) estimators. Especially, to evaluate the performance of various M-estimators, comparative studies are conducted for every possible combinations of the parameters of three types of M-estimators, two methods of scale estimate, two types of of starting values, and two types of residuals. Comparative studies on synthetic data show the superiority of the M-estimator of redescending Ψ-function using the starting value of least absolute residuals estimator using Huber scale iteration, in comparison with the other M-estimators and least squares estimator. Experimental results from the real image experiments also confirm that the proposed combinations of the M-estimators with the adaptive flow modeling handle the contaminated data effectively and produce the better estimates than the least squares estimator or the least absolute residuals estimator. The LMS/LTS implemented by a probabilistic sampling are empirically shown to be a good estimators for filtering out unreliable normal flow.
The usage of the confidence measure for the estimated optical flow fields is empirically justified by selecting the best quality of estimate from three robust regression methods. Through the experiments of the velocity-tuned iteration, the most appropriate data are reconsidered to estimate the optical flow robustly. By the extensive experiments with real time-varying images the efficacy of the proposed robust estimation paradigm is confirmed.
본 논문은 시간에 따라 변하는 연속영상으로부터 optical flow를 추정하는 강인한 기법에 관한 연구이다. 최근에는 강인한 통계적 방법론이 컴퓨터 비젼 연구자들에 의한 시도되고 있는데, 연속영상으로부터 영상운동을 분석하는 강인한 방법들이 제안되고 있다. 잡음이 가우시안 분포를 따른다는 가정의 잦은 위배 및 두 종류 이상의 운동에 의한 운동경계 문제 등의 이유로 인하여 기존의 최소자승 추정법과 정규화 방법은 종종 불만족스런 결과를 초래한다. 이 경우에 강인한 추정기법은 주어진 데이터의 고유한 특징을 찾음으로써 위의 문제를 해결하는 유망한 방법이다. 이에 관한 몇몇 기존의 연구가 있었지만 포괄적인 분석에 대한 연구는 부족하였다.
본 연구에서는, 영상운동 추정을 위한 두가지 방법을 통해 여러 주파수 채널로부터 측정된 가중치 데이터를 융합함으로써 다중 제한식을 얻는다. 그리고 step 에지의 분석에 의한 데이터 필터링을 통해, 특정 주파수 채널이나 추정방법으로부터 나온 비양질의 데이터를 개선한다. 또한 적응적인 모델링 기법을 제안함으로써 수치적 안정성을 유지하고, normal 운동벡터 데이터에 의해 산출되는 운동모델의 복잡도를 최적화한다.
적응적인 운동 모델링이 가능한, 제안된 세가지 강인한 추정방법은 최대 likelihood 추정법, 최소 중앙치 제곱 추정법, 그리고 최소 trimmed 자승 추정법이다. 특히, 여러 종류의 최대 likelihood 추정법들의 성능 평가를 위하여 세종류의 Ψ 함수, 두종류의 scale 추정치, 두종류의 초기치, 그리고 두종류의 잔차 등의 모든 가능한 조합에 대한 synthetic 데이타를 사용한 비교 실험을 통하여 최적의 조합 형태를 발견하고 제안하였다. 실제의 연속영상 실험에서도 최소자승 추정이나 최소절대치 추정보다 제안된 조합 방식이 잡음이 섞인 데이터에 더욱 잘 동작함을 보였다. 또한 확률적인 샘플링 기법으로 구현된 최소 중앙치 제곱 추정법 및 최소 trimmed 자승 추정법 역시 부정확한 normal 운동 데이터를 효율적으로 제거하는 결과를 얻었다.
본 연구에서 제안한 confidence measure로써, 위의 세가지 강인한 추정 기법에 의한 추정치들로부터 최적의 optical flow 추정치를 선택적으로 취하는 가능성을 보였다. 추정된 영상 운동의 속도의 크기에 따라 적응적으로 최적의 scale을 고려하는 반복 추정방법의 적용으로 인하여 추정치의 성능을 개선하였다. 많은 실험을 통하여 본 논문에서는 제안된 여러 강인한 추정기법론이 연속영상으로부터 영상운동을 정확하게 추정하는 데에 유용함을 증명하였다.
