In this dissertation, a motion adaptive spatial filtering technique is discussed for a temporal band-limitation of video signals, and its systolic realization method is investigated. The proposed filter, named MASF (Motion Adaptive Spatial Filter), is based on the basic idea that a temporal filter can be specified on the spatial domain. Assuming that moving objects of an image sequence have constant velocity and rigid-translational motion, the temporal band-limitation is implemented by a space-variant spatial filter.
In general, a sequence of images containing moving objects are known to have inherently aliasing components. The proposed method has an important characteristic that the aliasing components can be reduced, which can not be achieved by conventional temporal filters. From a signal processing point of view, the aliasing degrades filter characteristics. Thus, the MASF is more preferable to the temporal domain filtering.
To utilize the MASF in real applications, hardware realization scheme is proposed. By use of the systolic array well known structure for a VLSI design, systolic realization is investigated. The MASF is 1-dimensional convolution (1-dimensional transversal filter) along the movement trajectory. Considering the space-variant filter characteristics, the MASF is converted to 2-dimensional spatial filter suitable to parallel computing. The realization scheme permits modification of the filter window size without affecting to the throughput rate.
For a real application, scanning types of an input source and filter structure should be considered. The former indicates Interlaced and Non-interlaced scannings, the latter is Finite Impulse Response (FIR) and Infinite Impulse Response (IIR). In this dissertation, they are fully discussed. Experiments based on the artificial and real image sequences present feasible results such as an improvement of coding rates and visual effects, etc. The MASF includes a wide scope temporal band-limitation, e. g., 3-dimensional filtering, as well as a pre-filtering for coding applications.
본 논문에서는 시간축 대역제한 filter와 그의 하드웨어 구현방안에 대하여 연구를 하였다. 일반적으로 시간축 대역제한 filter는 구현상의 문제점 때문에 대부분의 영상 부호화기에 이용되지 않았다. 물론, 이용하더라도 단순히 시간축 잡음을 제거하는데 그쳤다. 이러한 filter 는 1차 IIR(Infinite Impulse Response)filter 구조로서 대역제한 효과가 매우 미약하다. 시간축 대역제한을 하기위한 가장 손쉬운 방법은 시간축 방향으로 단순히 filtering을 하는 것이다. 그러나 이 방법을 따르면, 대부분의 이동 성분이 포함된 영상신호는 시간축 aliasing이 나타나기 때문에 올바른 대역 제한 결과를 얻기가 매우 힘들다. 신호처리 관점에서 보면 aliasing은 filter 의 특성을 왜곡시키는 것이므로, 이들의 영향을 받지 않도록 수행하는 것이 바람직하다.
일반적으로 시간축 대역 제한 filter는 공간 filter로 구성이 가능하다. 본 논문은 이러한 기본적인 생각을 바탕으로 이동 적응 공간 filter를 이용하여 대역 제한을 수행하였다. 이를 위하여 이동성분은 강체-병진-등속 운동을 한다는 가정 하에 시간축 대역제한을 속도성분에 적응한 공간 filter로 구성하였다. 이의 구성 방법은 크게 두 가지가 있다. 첫째 방법은 이동성분이 시간축으로 항상 일정하다는 가정에 따라 한개의 frame을 이용한 것이다 (Single Frame Method). 다른 하나는 frame간의 속도 변화를 고려하여 임의 갯수의 frame 들을 이용한다 (Multi-Frame Method). 이론적으로는 둘째 방법이 타당하나 실험적으로는 두 방법 모두 비슷한 결과를 보인다.
최근 들어 디지탈 TV, 고화질 TV, video codec등의 개발에 따라 시간축 대역제한 filter의 필요성이 대두되기 시작하였다. 본논문에서 제안한 시간축 filter를 응용하기 위해서는 그의 하드웨어 구성 방안이 뒷바쳐 준다면 보다 바람직 할 것이다. 그러므로 이의 구현방안을 함께 연구하였다. 특히 Single Frame Method에 중점을 두고 연구를 수행하였다. 하드웨어를 구성하기위하여 가장 먼저 고려해야 할 점으로는 VLSI design에 접근하도록 하는 것이다. 이를 위하여 VLSI design에 많이 이용되는 systolic array를 근거를 가능한한 real time processing을 추구 하였다. 즉 제안 filter의 특성을 고려하여 이를 2차원 filter로 전환하였으며, 이렇게 구성된 filter는 systolic array로 쉽게 구성이 가능하기 때문에 처리속도 면에서도 filter window의 크기나 다른 변수에 영향을 받지 않는다.
실질적인 응용을 위해서는 사용하는 입력 데이타의 format (interlaced, non-interlaced scannings)뿐만 아니라 filter 구조 (IIR,FIR fiter)등도 고려해야한다. 본 논문에서는 이들 모두에 대하여 구현 방안을 언급하였다. 실험결과에 따르면 제안한 이동 적응 공간 filter는 영상 부호화기의 데이타 압축 특성 및 시각 특성도 개선시킨다. 이러한 모든 결과를 토대로 할때 이동적응 공간 filter에 근거한 제안된 temporal filter는 영상 부호하기의 전처리 filter로 이용이 가능하다. 또한 디지탈 영상 신호처리에 반드시 필요한 3차원 filter의 구성에도 쉽게 응용될 수 있다.
