This paper deals with video stabilization by using image sequences captured by stereo cameras mounted on unstable mobile platforms. The video stabilization has been an important topic in image processing and computer vision, and has been approached in many ways because it can be applied to many practical applications in the field of consumer electronics such as digital camcorder, computer vision, and robotics.
When biped humanoid robots move, an image sequence acquired from the head-mounted camera can be shaky due to the impact of walking or running. This unstable image sequence places a cognitive burden on the remote operator who controls the robot. Moreover, shaky image sequences can degrade the performance of vision processing such as visual detection, tracking and recognition of human or objects.
2D video stabilization that uses a 2D camera motion model works well if scenes are far from the camera mounted on the mobile platform or can be modeled as a plane. However, because most of the robots operate in a real 3D space, these 2D video stabilization approaches may fail to stabilize unstable videos. Several 3D video stabilization approaches using a 3D camera motion model, which has three rotational and three translational camera motions in a 3D space, have been recently reported in the computer vision community. And very surprising results overcoming the limitations of 2D video stabilization have been presented. However, these 3D video stabilization approaches cannot be directly applied to a humanoid robot vision systems, because they use an off-line batch optimization method and cannot process in real-time. Furthermore, straightforward 3D video stabilization methods, which depend on structure-from-motion to estimate global camera motion, might fail in the long run because accumulative error in the global motion estimation step is inevitable with the elapse of time.
This paper proposes new online 3D video stabilization method for a humanoid robot without explicit global camera motion estimation with respect to a reference frame. The proposed method uses the only relative 3D camera correction motion between the real unstable camera and the virtual stabilized camera through point feature trajectory smoothing. In order to overcome the drawback of the first proposed method, this paper proposes another 3D video stabilization using optimal smoothing of point feature trajectory considering geometric correlation among point features. This method is capable of smoothing point feature trajectories and simultaneously estimating 3D camera correction motion between a real unstable camera and a virtual stabilized camera. Furthermore, a point feature tracker using IMU sensor and a priori walking pattern is proposed for a humanoid robot.
In order to evaluate the proposed methods, a real walking and running humanoid robot is used. Convergence of the second proposed video stabilization is verified by simulations under the various conditions. The results of experiments with long term real image sequences are presented to demonstrate the feasibility of the algorithm. The results show that the proposed 3D video stabilization system can be a potential candidate for application in humanoid robots.
최근 휴머노이드 로봇은 안정적으로 걸을 뿐만 아니라 뛰어 다니고, 이와 관련된 연구가 여러 연구자들에 의해서 활발히 진행 중이다. 휴머노이드 로봇이 주어진 작업을 수행할 때, 주변 환경, 사람, 물체를 인식하는데 카메라로부터 들어오는 영상 정보는 매우 많이 이용되고, 이러한 인식 능력은 입력되는 영상의 품질에 크게 의존한다. 휴머노이드 로봇이 움직일 때, 걸음걸이에 의해서 카메라로부터 들어오는 영상이 매우 흔들리는 것을 확인 할 수 있고 이러한 흔들리는 영상은 원격에서 로봇을 조종하는 사람에게 피곤감을 줄 뿐만 아니라, 영상탐색, 추적, 인식 등과 같은 영상처리 성능을 저하시킨다.
만약 이렇게 흔들리는 영상을 안정화시킬 수 있다면 앞에서 야기된 문제점을 해결 할 수 있을 것이고, 이 연구의 동기는 여기에서 시작되었다.
이 연구는 흔들리는 플랫폼위에 장착된 카메라에서 들어오는 영상을 안정화시키는 영상 안정화(video stabilization) 기법에 관한 것이다. 영상 안정화는 영상에 존재하는 원하지 않는 움직임을 제거함으로써 안정된 영상을 만들어 내는 기법이다. 영상 안정화는 영상처리와 컴퓨터 비전 분야에서 중요한 주제이고, 지금까지 여러 분야에서 활발히 연구되고 있다.
사람은 안구를 안정화시키는 VOR(Vestibulo-Occular Reflex) 기능 덕분에 머리가 움직여도 망막에 맺히는 상은 흔들리지 않는다. 카메라나 캠코더 같은 가전 제품에는 움직임 센서에서 카메라의 움직임을 감지하고 이미지 센서나 렌즈를 움직여서 영상을 안정화(optical stabilization) 시킨다.
이 방식은 흔들림을 보상시킬 수 있는 범위가 좁기 때문에, 크기가 작은 흔들림은 효과적으로 안정화시키지만 카메라의 흔들림이 크면 안정화에 실패한다. 카메라가 장착된 플랫폼의 흔들림을 직접 안정화시키는 기계적인 안정화 (mechanical stabilization) 방법도 연구되고 있고 이 방식은 다양한 환경에서 좋은 성능을 보이지만 크기가 크고 고가이다. 센서나 구동기를 이용하지 않고 순수 디지탈 영상 처리 기법만으로 영상을 안정화하는 방법 (digital video stabilization)이 있고, 이는 소프트웨어적인 알고리즘이므로 용도에 따라서 쉽게 적용할 수 있고 가격이 저렴하다.이 방법은 카메라 2차원 카메라 움직임 모델을 이용하는 2차원 영상 안정화(2D video stabilization)와 3차원 카메라 움직임 모델을 이용하는 3차원 영상 안정화(3D video stabilization)로 구분 된다. 2차원 영상 안정화는 카메라 움직임 추정이 비교적 간단하고 많은 연구가 진행되었다. 만약 물체가 카메라와 멀리 떨어져 있거나 배경을 평면으로 모델링 할 수 있다면, 이 방법은 좋은 성능을 보인다. 하지만 카메라 움직임 모델이 단순하기 때문에 깊이의 변화가 심한 환경에서는 쉽게 실패하는 것을 볼 수 있다. 이러한 문제점을 보완하기 위해서 3차원 카메라 움직임 모델을 이용하는 연구가 최근에 발표되고 있고, 카메라의 3개 직진 움직임과 3개 회전 움직임을 모두 사용하기 때문에 성능이 매우 훌륭하다. 하지만, 지금까지 발표된 3차원 영상 안정화는 오프라인에서 일괄방식의 알고리즘이기 때문에 실시간을 요구하는 로봇에 적용하는데 어려움이 있다.
기존의 3차원 영상 안정화 방법 (straightforward 3D video stabilization)은 카메라 움직임 추정(camera motion estimation), 카메라 움직임 필터링(camera motion filtering and compensation), 영상 변환(2D image composition)으로 이루어져 있고, 이 방법은 시간이 지남에 따라서 추정된 카메라 움직임에 오차가 축적되기 때문에 오랫동안 동작하지 못하는 단점이 있다. 카메라 움직임 추정 단계가 실패하면 뒤의 나머지 단계는 의미가 없어지므로, 이런 방식을 이용하는 영상 안정화는 첫 단계의 성능에 매우 의존적이다. 이 논문에서는 기준 프레임에 대한 현재 프레임의 카메라 움직임(global camera motion)을 사용하지 않는 새로운 3차원 영상 안정화(3D video stabilization) 기법을 제안하였고, 이 방법을 휴머노이드 로봇에 적용하여 실험하였다. 제안하는 방법은 영상에 존재하는 특징점 궤적 (point feature trajectory)을 이용하여 흔들리는 실제 카메라와 가상의 안정된 카메라 사이의 상대적인 카메라 움직임만 사용하고, 기준 프레임에 대한 카메라 움직임 정보를 사용하지 않기 때문에 오랫동안 영상을 안정화 시킬 수 있다. 하지만, 첫 번째 제안한 3차원 영상 안정화는 특징점 사이의 기하학적인 관계를 고려하지 않고 특징점 괘적을 독립적으로 스무딩(smoothing) 하기 때문에 스무딩 후에 특징점 사이의 기하학적 관계가 깨질 수 있으므로, 카메라 보정 움직임 (camera correction motion) 추정에 실패할 수 있다.
이러한 단점을 보완하기 위해서, 하나의 최적화 프레임웍 안에서 특징점 괘적의 스무딩과 카메라 보정 움직임 추정을 동시에 수행하는 두 번째 3차원 영상 안정화 기법을 제안하였고, 휴머노이드 로봇에서 얻은 영상으로 실험을 수행하였다.
이 논문에서 제안하는 두가지 영상 안정화 방법은 특징점 괘적의 정확도에 크게 의존하고, 이 괘적은 순수 영상 정보만을 이용하는 특징점 추적기(KLT tracker)로 생성되는 것이 일반적이다. 하지만 카메라의 급격한 흔들림으로 인하여 영상에서의 특징점이 많이 움직였을 경우에 이런 추적기는 특징점 추적에 실패할 확률이 높고, 이 것을 "작은 움직임 제한" (small motion constraint) 이라고 말한다. 기존 특징점 추적기의 이러한 단점을 해결하기 위해서, 본 논문에서는 IMU 센서와 로봇의 걸음걸이 패턴 정보를 이용하는 특징점 추적기를 제안하였다. 이 방법은 IMU 센서로 부터 얻은 카메라의 회전 움직임 정보와 로봇의 걸음걸이 패턴에서 얻은 카메라의 직선 움직임 정보를 이용하여, 다음 이미지에서 대응하는 특징점의 위치를 미리 예측하고, 이 예측된 정보를 기존 특징점 추적기의 초기값으로 이용한다. 기존에 IMU 센서에서 얻은 카메라의 회전 정보만 이용하는 특징점 추적기에 비해서, 제안하는 특징점 추적기는 다음 이미지에서 특징점의 목표지점에 더 가깝게 예측하기 때문에 추적 성능을 향상 시킬 수 있었다. 또한 제안하는 특징점 추적기를 이용하여 움직이는 물체위에 존재하는 특징점을 효과적으로 제거 할 수 있었다.
제안한 두가지 3차원 영상 안정화 기법의 성능을 검증하기 위해 다양한 영상에 대해서 실험을 수행하였고, 실제 걷는 휴머노이드 로봇을 이용하여 실험하였다.
또한 시뮬레이션을 통해서 두번째 제안하는 영상 안정화에서 최적화 수렴성을 검증하였다.
동작 중에는 기존의 straightforward 3차원 영상 안정화와 제안하는 두가지 방법의 결과가 모두 안정적이어서 성능의 우위를 비교하기 힘들었지만, 기존의 방법은 도중에 영상 안정화에 실패하는 반면에 제안하는 방법은 영상의 마지막까지 영상 안정화에 성공하였고 비교적 높은 ITF 값을 가졌다.
위 실험 결과에 비추어 볼 때, 본 논문에서 제안하는 특징점 괘적의 최적 스무딩을 이용하는 3차원 영상 안정화는 다른 영상 처리의 전처리에 이용될 수 있고, 휴머노이드 로봇에 적합할 것으로 예상된다.
