Global motion caused by camera zooming, panning, and rotation is quite common in video sequences. Since global MC(Motion Compensation) itself is unable to compensate for local motion caused by the movement of object in front of camera, the local MC is often incorporated with global MC. It has been shown that in video compression, global MC can significantly reduce the residual of MC and entropy of local motion vector field. But the scope of the previously reported works on the global MC does not exceed the empirical confirmation of the effect of global MC on prediction accuracy and motion bitrate.
Since the global MC and local MC are always used together for the practical MC of video sequence, the relationship between two MCs and between global and local motions should be investigated to fully exploit the global motion for the video compression.
In this dissertation, we have studied the issues related to ME (Motion Estimation), MC, and motion information coding methods for the video compression using global motion. First, we analyze the motion of video sequence with global and local motions and formulate an analytic description of such motion in a closed form. Based on the description, the well-known motion models such as the composite and translational models are compared in terms of motion accuracy and motion entropy. Note that the composite model consists of global motion model and local motion model and its functional form is the sum of the two motion models. For the comparison on the motion accuracy, MAE(Motion Approximation Error) which is the MSE between the true motion vector and modeled motion vector is introduced to evaluate the performance of the composite and translational models in approximating the true motion vector, in other words, prediction accuracy. Also, the motion bitrate necessary for representing these models are compared in terms of motion entropy. From the analysis, we show that there is a certain point which classifies the relative performance of those models for object region, i.e., below which the composite model may produce worse performance than the translational model, though the previous results empirically showed that the composite model is always better than the translational model.
The computational complexity in estimating the global and local motions of composite model is compared with that in standard ME method, BMA which is based on translational model. From the comparison, we show that except the complexity of linear regression to extract global motion parameters from motion vector field, the computational complexity for the composite model is two times larger than that for translational model, implicating that the computational complexity can be a main bottleneck in practical application of composite model. To reduce the complexity, we investigated the relationship between the local MV, global motion, and block MV which is used to extract the global motion parameters. From the analysis, the initial MV used for the local MV estimation is derived by using the global motion and block MV. By using the derived initial MV in the local MV estimation, the complexity in local MV estimation is remarkably reduced, i.e., 72% reduction in computational complexity compared with the estimation method not using initial MV.
Conventionally, the MC method for global-local motion is a simple cascade of two successive global MC and local MC stages. This separate handling of two MCs brings about unnecessary information loss due to the bilinear interpolation which is used when the global and local motion vectors have sub-pixel precision. To prevent such a loss, we proposed to compensate for the two motions in a single stage, namely a combined GL-MC(Global-Local MC) method. Since the MC and ME are directly related to each other, the ME should be done in harmony with the MC method. For this reason, we further propose a combined GL-ME method. But the combined GL-ME method requires excessive computational complexity. By comparing the combined GL-ME method and conventional separate GL-ME method, we propose a fast combined GL-ME method whose complexity is the same as that of the separate GL-ME method and whose results is the same as those of the combined GL-ME method. We show the significant improvement by the proposed method from the simulation, i.e., about 1 dB and 1.5 dB improvements in PSNR for luminance and chrominance signals, respectively, for the typical video sequences, when compared with conventional method.
Finally, we present an MV conversion method for the efficient motion information coding for adaptive MC method of GL-MC and block MC which are based on the composite and translational models, respectively. For the adaptive algorithm, one MV is used among the local MV and block MV for the MC of each block. Since the local MV represents a residual motion after global MC and block MV is the motion between the current and previous images, the spatial correlation between the two kinds of MVs is very low. For this reason, the powerful MV coding method, the predictive MV coding method does not produce high coding efficiency for this adaptive algorithm. To improve the MV prediction performance in the MV coding, we propose an MV conversion method which is used as a preprocessing of MV prediction. By applying the conversion method to the MV coding, a significant reduction in MV bitrates is achieved, e.g., empirical results shows about 30-33 \% reduction in motion bitrate, as compared with the conventional MV coding method for the typical video sequences.
본 연구에서는 전역이동을 가진 영상을 위한 이동 추정, 이동 보상, 및 이동 정보 부호화를 위한 기법들에 대해서 다룬다.
전역이동이 있는 영상의 부호화를 위한 이동추정 및 보상은 복합 이동 모형 (composite motion model)과 직교 이동 모형 (translational motion model) 등의 두가지의 대표적인 이동 모형에 바탕을 두고 이루어진다. 특히, 직교 이동 모형은 기존의 표준 부호화 기법들에 널리 사용되고 있고, 복합 이동 모형은 전역 이동 및 지역 이동 모형의 두개의 모형이 혼합된 형태의 모형으로서 수많은 문헌에서 전역이동(카메라의 이동)이 있는 영상을 위한 이동 추정 및 보상 기법에 중요한 모형으로 인식되고 있다. 이런 두 이동 모형들간의 성능은 기존의 문헌들에서 분석적이고 정량화된 비교는 이루어지지 않았고, 실험적으로 복합 이동 모형이 직교 이동 모형에 비해 우월함이 증명되었다. 이들 두 모형간의 정량적인 비교 분석을 위해서 본 연구에서는 우선 전역이동을 가진 영상의 이동을 수학적으로 기술한다. 이런 기술을 바탕으로 두개의 이동 모형으로 전역이동을 가진 영상의 이동을 나타낼 경우에 존재하게 되는 근사화 오류를 비교함으로써 예측 성능을 비교하였다. 또한, 부호화시에 발생하는 이동 모형들을 기술하는 파라미터들의 비트율을 비교하였다. 이런 비교 분석을 통해서 기존의 실험적으로 얻어진 복합이동모형의 상대적인 우월성은 제한된 결과임을 보인다. 즉, 영상내에 전역이동이 존재하고 또한 지역이동이 있는 경우에는 기존의 결과와는 달리 전역이동과 지역이동의 특성에 따라서 두 모형간의 상대적인 성능차가 달라지게 되어, 단순한 직교 이동 모형이 복합 이동 모형보다 우수한 성능을 보일 수 있음을 보였다. 또한 지역이동이 없는 경우에는 복합이동모형의 성능이 직교이동모형 보다 성능이 월등히 우수함을 증명하였다. 이런 결과는 기존의 결과들이 영상내의 영역을 배경부분과 물체 영역을 포함하고 있는 영역의 이동특성이 다름을 구분하지 않고 얻은 결과에 불과하며, 기존의 결과들은 제한적으로 사용될 수 있음을 보여준다. 이런 비교 분석을 통해, 전역이동을 가진 영상의 이동 추정 및 보상시에는 지역이동을 가진 영역에 대해서는 복합이동모형 및 직교이동모형의 적응적 사용이 적절하고, 지역이동이 없는 영역의 경우에는 복합이동모형만으로 충분하다는 결론을 내었다.
본 연구에서는 이런 분석결과를 바탕으로 세가지의 기법들을 제시한다.
첫째로, 전역이동을 가진 영상을 위한 이동 추정 기법에 대해서 다룬다. 복합 이동 모형은 전역 및 지역 이동모형들이 혼합된 형태로 이루어졌고, 이동정보에 해당하는 모형 파라미터들중 전역 및 지역 이동에 관련된 것들을 분리해서 두 단계로 추정하게 된다. 이때 이동 추정의 복잡도는 기존의 직교 이동 모형과 비교하면 두배 이상의 복잡도를 요구한다. 본 연구에서는 이런 복합 이동 모형 추정시의 복잡도를 줄이기 위해서, 전역 이동 정보를 추출하는데 사용된 블록 이동 벡터들과 전역이동 정보를 이용해서 지역 이동벡터 추정을 위한 초기 벡터를 유도한다. 유도된 초기 벡터 주위의 좁은 탐색 영역에 대해서 지역 이동 벡터를 추정하는 것을 제안하고 모의 실험을 통해서 제안 방식이 기존의 기법에 비해 약 72%정도의 계산량을 줄임을 보인다.
둘째로, 복합 이동 모형을 이용한 이동 보상 기법에 대해서 다룬다. 기존의 이동 보상 기법들의 경우, 전역 이동과 지역 이동을 분리해서 각기 이동 추정 및 보상을 행한다. 이때 전역 이동과 지역 이동들이 부화소 단위의 정확도를 가진 경우에 각각의 이동 보상시에 보간 오류 (interpolation error)가 발생하게 된다. 이런 보간 오류는 영상의 복잡도가 높을 수로 그 영향이 크게 되며, 재생 또는 예측된 영상의 흐려짐(blurring) 현상을 유발하게 되어 화질 저하를 초래한다. 본 연구에서는 이런 전역 및 지역 이동보상과정을 분리하는데에서 초래되는 문제를 해결하기 위해서 통합 전역 및 지역 이동 보상기법 (combined global and local motion compensation method)을 제안한다. 일반적으로 이동 추정과 이동 보상은 매우 긴밀한 관계를 가지고 있으며, 이동 보상 기법의 변화는 이동 추정 기법도 이동 보상 기법에 맞춰 변형되여져야 한다. 이를 위해서 통합 전역 및 지역 이동 추정 기법을 제안한다. 그러나, 제안된 통합 이동 추정 기법은 통합 이동 추정시에 매 화소별로 보간을 요구하기 때문에 복잡도가 매우 높다. 이런 복잡도 문제 해결을 위해서 우선 화소단위의 이동 추정시에는 기존의 이동 추정 기법과 복합 이동 추정이 같음을 증명한다. 이를 바탕으로 화소단위의 이동 추정시에는 기존의 이동 추정 기법을 사용하고, 부화소 단위의 이동 추정시에만 통합 이동 추정 기법을 적용하도록 이동 추정 기법을 변형하였다. 변형된 통합 이동 추정 기법이 기존의 이동 추정 기법과 동일한 계산량으로 통합 이동 추정 기법과 같은 결과를 보임을 보인다. 이런 통합 이동 추정 및 보상 기법을 통해서 예측 이득 및 비트율 측면에서 이득을 모의 실험을 통해서 제시한다.
끝으로 이동 정보 부호화에 관련된 문제를 다룬다. 앞에서 설명한 이동 모형들의 비교 분석을 통해서, 복합 이동 모형 및 직교 이동 모형을 적응적으로 사용하는 것이 적절함을 보였다. 이런 적응적 이동 추정의 경우, 이동 벡터의 전송시에 예측 이동 벡터 부호화시에 이동 벡터의 예측 효율이 급격히 감소함을 보이고, 이를 해결하기 위한 상이한 종류의 이동 벡터간의 변환 기법을 제시한다. 이동 벡터 변환 기법을 예측 이동 벡터 부호화기의 전처리과정으로 추가함으로서 이동 벡터 부호화 효율을 높일 수 있음을 모의 실험을 통해서 검증한다.
