Gradient-based methods are widely in the computation of optical flow, but subject to two principal problems. The first is inaccurate measurements of the spatial and temporal gradients of image brightness. Secondly, the smoothness constraint underlying those approaches is to create blurring of motion boundaries. This thesis investigates the methods to cope with these difficulties.
For the former problem, performing the error analysis of gradient-based methods, we show that optical flow estimation error is related with the sampling intervals and the higher-order derivatives of image brightness. By examining the effect of those factors on optical flow estimation, we demonstrate the necessity of image filtering prior to the application of optical flow estimation and show that the filtering is applied to the images adaptively to the velocity. From the frequency-domain analysis of optical flow estimation, we present a velocity adaptive spatial filter which its spatial cutoff frequency, for a fixed temporal cutoff frequency, varies adaptively to the velocity. The experimental results for both synthetic and real image sequences demonstrate its promise as a prefilter for optical flow estimation.
For the latter problem, based on the observation that the constant velocity constraint underlying a local optimization method creates difficulties at parts where the image brightness changes abruptly such as occluding contours or region boundaries, we try to overcome such difficulties by incoporating the information of discontinuities in image brightness in the local method. By deriving the relation between image structure and variation in optical flow field, we formulate a weighted local optimization method whereby the influence of its neighbor on an observed point is determined according to both the relative distance and the brightness difference between them. The experimental results show that optical flow field is obtained with less blurring in motion boundaries.
연속 영상에서 물체의 움직임은 그 자체의 3차원 운동에 관한 정보 뿐만아니라 구조에 관한 중요한 정보를 포함하고 있다. 인간이나 모든 동물들은 주위 환경을 인식하거나 어떤 일을 하고자 할때 이러한 정보를 이용한다. 이러한 연유로 해서 연속 영상으로부터 운동 정보, 즉 속도장 (optical flow field) 을 추정하기 위한 많은 연구가 진행되어 왔고, 그 응용 분야 또한 다방면으로 발전하고 있다. 본 논문에서는 속도장을 추정하는데 많이 이용되고 있는 경사에 근거한 방법 (gradient-based method)의 문제점과 개선책을 제시하고 있다. 경사에 근거한 방법에서 가장 문제시되는 점은 다음 두가지로 요약할 수 있다. 첫째는 영상의 밝기 함수의 비선형성, 표본화 및 양자화로 인해 시간 경사와 공간 경사가 부정확하게 측정된다는 것이고, 둘째는 이 방법에서 필수적으로 부가되는 속도장에 대한 평활성 (smoothness) 제한 때문에 운동 경계에서 나타나는 속도장의 퍼짐(blurring) 이다.
첫번째 문제점을 개선하기 위하여 먼저 시간 경사와 공간 경사의 측정 오차를 분석한 후, 그 결과에 기초하여 이론적인 속도 추정 오차를 유도했다. 이러한 분석으로부터 속도 추정 오차가 영상의 표본화 구간과 고차 미분 성분에 관계됨을 알 수 있었다. 또한, 이런 요인들이 속도 추정에 미치는 영향을 알아보기 위한 분석과 실험으로부터 속도 추정 이전에 영상 필터링이 필요함을 알았다. 효율적인 필터링 방법에의 접근을 위해 필터링이 속도 추정에 미치는 영향을 분석했으며, 이로부터 필터링 정도가 속도의 크기에 따라 변해야 한다는 사실을 알았다. 본 논문에서는 속도 추정의 주파수 영역에서의 특성의 분석을 통해 그의 차단 주파수가 속도의 크기에 따라 적응적으로 변하는 속도 적응 공간 필터를 제시했다. 그리고 몇가지 연속 영상들에 대한 실험 결과를 통하여 제시한 필터의 가능성을 확인하였다. 본 논문에서는 제시된 필터를 속도 추정에만 적용하였는데 앞으로 다른 영상 처리 분야의 사전 필터나 대역폭 제한 필터로 이용될 것으로 기대된다.
경사에 근거한 방법의 한 부류인 국부 최적화 방법에서의 속도장의 퍼짐의 원인은 속도를 구하고자 하는 화소를 중심으로 한 작은 영역내의 속도가 같다고 하는 가정이다. 이 가정은 물체와 배경과의 경계 부분이나 서로 다른 운동을 하는 물체간의 경계 부분에서는 맞지 않다. 따라서 속도장을 보다 정확하게 추정하기 위해서는 위의 가정이 위반되는 부분을 찾아내고, 또한 이런 부분을 효율적으로 처리할 수 있어야 한다. 본 논문에서는 속도의 변화와 물체의 구조간의 관계를 유도하고, 이 관계에 기초하여 관측 화소의 속도 추정에 이용되는 이웃 화소들 중에서 관측 화소와 다른 영역에 속하는 화소들의 영향을 줄임으로써 경계 부분에서의 속도장의 퍼짐을 줄이는 가중된 국부 최적화 방법을 제시했다. 그리고 이 방법의 효율성을 증명하기 위하여 인공 연속 영상과 실제 연속 영상을 사용하여 속도장 추정 실험과 운동 경계검출 실험을 하였다. 실험 결과는 제안된 방법으로 추정한 속도장이 운동 경계 부분에서 더 적게 퍼진다는 것을 보였다. 따라서 제시된 방법은 운동 경계를 이용하는 물체 추적 및 인식 등에 유용할 것으로 보인다.
