An image sequence contains various spatio-temporal information. To accomplish a robust image analysis this kind of information is very useful. In this paper the spatio-temporal information of image sequence is used on edge detection and optical flow estimation.
Additional criteria to the spatio-temporal edge detection is suggested; the temporal compensation and the motion independency. And two ways of using spatio-temporal information on edge detection are introduced. The first estimates the spatial gradient or the spatial Laplacian with spatio-temporal filters, and the second considers the spatial edge as a temporal slice of the spatio-temporal edge (TSSTE). Since the image sequence is not continuous on time axis, the TSSTE results in thick edges when the image motion is larger than one pixel per frame. Several post-processing techniques are suggested to extract an exact edge. Some experiments show that these kinds of edge detectors result in more robust edges.
The spatio-temporal estimation of gradient also helps optical flow estimation. Applying the spatio-temporal gradient estimation to the traditional gradient method brings significantly improved results. A new spatio-temporal image model is also derived. This is a quite different model which has an ability to represent the temporal variance of the image flow. For some kinds of image sequences, the proposed model showed more robust results. But the proposed model did not show satisfiable results especially to the moving motion boundary. This is deeply related with the traditional motion boundary problem and remains for future work.
동영상은 여러 가지 유용한 정보를 담고 있다. 동영상이 지니고 있는 이러한 정보들을 잘 활용한다면 강인한(robust)영상 분석에 도움이 될 것이다. 본 논문에서는 이러한 관점에서 동영상 정보를 에지 검출과 운동 벡터 계산에 활용하였다.
시공간 정보를 이용한 에지 검출기의 성능을 평가하기 위해 시간축으로의 보상과 운동 독립성이라는 두 가지의 평가 기준을 제시하였다. 이러한 관점에서 두 가지의 에지 검출 방법을 제안하였다. 첫 번째는 공간사의 경사도(gradient)와 Laplacian을 시공간 필터를 이용하여 구하는 방법이고, 두 번째는 공간 에지를 시공간 표면 에지의 단면이라 간주하여 구하는 방법이다. 시공간 표면 에지의 단면을 취하는 과정에서 두꺼운 에지가 구해지는 문제가 생긴다. 이러한 문제를 해결하기 위한 몇 가지의 후처리 방안도 제안하였다. 여러 실험을 통해 이러한 에지 검출기가 보다 강인한 결과를 나타냄을 볼 수 있었다.
시공간 필터를 이용하여 구한 경사도은 운동 벡터 계산에도 이용할 수 있다. 이러한 경사도 추출 방법을 기존의 경사법에 적용하여 향상된 결과를 얻었다. 또, 시공간 정보를 사용할 수 있도록 시간축으로의 변화를 수용하는 운동 모형을 제안하였다. 몇몇 종류의 동영상에 대해 제안한 모형이 좋은 결과를 나타냄을 볼 수 있었다. 그러나 동영상이 종류에 따라,예컨데 운동의 경계(motion boundary)가 움직일 경우 제안한 모형이 오히려 나쁜 결과를 나타내기도 하였다. 이러한 문제는 기존의 운동 경계 문제(motion boundary problem)와 밀접한 연관이 있는 것으로 향후 연구해야 할 과제이다.
