This paper deals with structure and motion estimation by using image sequences captured by multi-camera system moving in a scene. Single camera systems with a relatively small field of view have limited accuracy because of inherent ambiguities of confusion between translation and rotation. The cameras constituting multi-camera system considered ultimately in this paper are arranged so that there is no or small intersection of fields of view. This configuration has advantages for improving the accuracy of the structure and motion estimation because the ambiguities mentioned above decrease due to a large field of view.
We propose a recursive algorithm for real time applications of multi-camera system using long term image sequences, which have appearing and disappearing point features. We show in experiments that using just two cameras can obtain much better accuracy than using single camera. Some peculiar implementation techniques contribute to a fast convergence rate and high stability in spite of large initial uncertainty.
The method combining stereo and motion is a useful vision cue to estimate both the motion of the cameras and the structure of a scene with an absolute scale factor. Most of the works related to the method have used both motion correspondence and stereo correspondence. Because it is information redundancy to use these two correspondences simultaneously, they can give accurate results. However, the methods to solve the stereo correspondence problem are not yet reliable enough to be used in practical applications, while the motion correspondence problem is easier to solve because sequences of images can be taken at short time intervals. Therefore, if an absolute scale factor can be acquired by only using motion correspondence without stereo correspondence, it is not necessary to use stereo correspondence for accuracy at the cost of reliability.
This paper also shows that using a multi-camera system of milt-viewpoint structure has the additional benefit of resolving the scale factor ambiguity, which is also a drawback of using a single camera, although feature correspondences among the cameras are not used. It is not necessary that the rigid scene be included in the intersection of the field of view of the two cameras in order to acquire absolute estimates. All of the degenerate motions in determining the scale factor are reported in this paper and it is also shown that they can be easily avoided. This fact is proved by the two theorems and verified by the simulation results.
The results of the simulation and experiments with long term real image sequences are presented to demonstrate the feasibility of the algorithm.
본 논문은 다중 카메라로 구성된 시스템이 움직일 때 획득된 연속 연상으로 부터 주변 구조와 시스템의 움직임을 추정하는 방법을 다룬다. 상대적으로 작은 시각영역을 가지게 되는 하나의 카메라를 이용하게 될 경우 병진 운동과 회전 운동사이의 혼동으로 인해 정밀도에 있어서 한계를 가지게 된다. 이 논문에서 궁극적으로 다루고자 하는 다중 카메라 시스템은 카메라들 사이의 시각영역이 전혀 겹치지 않거나 혹은 조금 겹치게 배치된 여러대의 카메라로 구성 된다. 이러한 구조는 넓은 시각영역을 가지게 되므로 위에서 언급한 모호성을 경감시켜 주변 구조와 카메라 움직임 추정의 정밀도를 향상시키는데 도움이 된다.
본 논문에서는 긴 시간의 연속 영상을 획득하게 되는 다중 카메라 시스템의 실시간 응용을 위하여 재귀적인 방법을 제시한다. 이러한 긴 시간의 연속영상은 새롭게 나타나거나 사라지는 특징점들이 존재하게 되며 이러한 특징점들을 다루는 방법이 포함된다. 실험을 통해 두대의 카메라만으로도 하나의 카메라를 사용하는 것보다 매우 정밀한 결과를 얻을 수 있음을 보이며 초기치의 큰 오차에도 불구하고 독창적인 구현 방식은 빠른 수렴 속도와 높은 안정성을 획득할 수 있게 해 준다.
카메라의 움직임에 의한 정보와 스테레오 카메라에 의한 정보의 통합은 주변 구조와 카메라의 움직임의 절대 값을 추정하는 유용한 수단이 될 수 있다. 이러한 분야의 연구는 대부분 연속영상에서의 특징점 추적과 스테레오 대응점을 동시에 사용하고 있다. 이러한 특징점 추적과 스테레오 대응점의 동시 이용은 정보의 잉여성을 낳게 되어 정밀한 추정 결과를 얻을 수 있는 것이 사실이다. 그러나 실제적인 시스템에의 적용에 있어서 스테레오 대응점 문제를 푸는 것은 아직까지 충분한 신뢰성을 보장해 주지 못하고 있는 것이 사실이며 그에 반해 연속영상은 짧은 시간 간격으로 이미지를 얻은 것이므로 특징점 추적은 상대적으로 획득하기 쉬운 문제로 알려져 있다. 따라서 주변구조와 시스템의 움직임의 절대값이 스테레오 대응점 없이 특징점의 추적만으로 획득할 수 있다면 굳이 신뢰성의 희생을 감수하면서 정밀도의 이유로 인해 스테레오 대응점을 사용할 필요는 없게 될 것이다.
본 논문에서는 다중 시점을 가진 다중 카메라의 경우 카메라 사이의 스테레오 대응점이 없다고 하더라도 추정치의 절대값을 획득하는 것이 가능하다는 것을 보인다. 하나의 카메라를 사용하는 경우에는 절대값을 구하지 못한다는 것은 하나의 카메라를 사용방법의 또 다른 단점 중의 하나에 해당한다. 이러한 다중 카메라의 특성에 의해 구현되는 시스템은 추정치의 절대값을 구하기 위해 두 카메라의 시각영역이 겹칠 필요가 없게 된다. 본 논문은 또한 이러한 특성을 이용하는데 있어서 절대값을 구할 수 없게 되는 카메라의 움직임의 종류를 모두 찾아내고 이러한 움직임들은 쉽게 회피될 수 있음을 보인다. 이러한 사실은 제시된 두 정리와 모의 실험 결과에 의해 검증된다.
다양한 모의 실험과 긴 시간의 연속 영상을 이용하는 실제 실험을 통해 제안한 방법의 유용성이 검증되었다.