In the operation of the robot, the technology of recognizing the position and the surrounding environment is very important. In particular, the camera is one of the most widely used sensors in the technology to recognize the position and the environment. However, the camera is sensitive to changes in light conditions or the surrounding environment. Loss of image occurs in a rapidly changing environment or high dynamic range environment. This image loss eventually leads to failure of the visualization-based navigation system due to the robot's position and environmental awareness errors. In order to overcome this problem, research is needed to restore these losses through pre or post image processing. Another approach is to control camera parameters (aperture, exposure time, gain) to minimize these image losses. This thesis introduces a method to secure the performance of vision-based robot navigation algorithm by restoring or minimizing image loss. Algorithm suitable for extreme environment as well as general environment was proposed, and value was veri ed through actual experiments under various conditions and environments. The technical summary of this dissertation is as follows. First, we propose a method to improve the performance of vision-based navigation algorithm by composing two images with di erent exposure time. In a space where indoor and outdoor coexist, image loss occurs frequently due to the di erence in illuminance of arti cial light and light from the outside. Through this study, we analyze the image characteristics lost by illumination and light, and propose a loss area detection algorithm. In addition, we introduced a method of restoring only saturated areas, not entire pixels, by compositing two images with di erent exposure values. The images were acquired and veri ed in partially over-exposed and under-exposed environments. Second, based on the previous research, we proposed a camera exposure time control algorithm that minimizes the saturation region. Instead of the automatic exposure control that determines the exposure value according to the amount of light coming from the camera, we proposed a method of analyzing the image in advance and determining the optimal exposure time of the image. Image metric is de ned using gradient to measure the amount of image information for image analysis and local entropy to measure the amount of image loss. And Bayesian Optimization, a machine learning based optimization method, was used to estimate the global optimal value quickly and accurately through minimal training process. Third, in order to control exposure time and gain at the same time, we rede ne the metric considering noise. In addition, in order to secure real-time performance, synthetic images were created using the camera response function and gain equation, not the actual image, and the image metric was analyzed to extend it to a 2-dimensional Bayesian optimization algorithm. The proposed algorithm was veri ed through actual experiments in indoor, outdoor, and dynamic environments. The proposed method guarantees real-time performance by supporting a rate of 20 40Hz. Finally, studies were conducted on low-light environments in contrast to previous studies focused on over-exposure or High Dynamic Range (HDR) environments. In a low-light environment, it is generally necessary to increase the exposure time or gain, but negative factors such as motion blur or noise exist to limit the exposures. In this study, high-exposure synthetic images are created with one actual image and fused to create high-exposure image that minimize negative factors in low-light environments. The proposed algorithm was veri ed through actual experiments in indoor and outdoor dark environments.
로봇의 운용에 있어서 자기 위치 및 주변 환경을 인식하는 기술은 매우 중요하다. 특히, 카메라는 이러한자기 위치 및 주변환경을 인식하는 기술에서 가장 범용적으로 사용하는 센서 중 하나이다. 하지만 카메라는광조건 또는 주변 환경의 변화에 민감하다. 이러한 광조건이 급변하는 환경 또는 동적인 (dynamic) 환경에서이미지의 손실이 발생한다. 이러한 이미지 손실은 결국 로봇의 자기 위치 및 환경 인식 오류로 인한 시각화기반 항법 시스템의 실패를 초래한다. 이를 극복하기 위하여 이미지 전, 후처리 과정을 통해 이러한 손실을복원 하는 연구가 필요하다. 또 다른 방법은 이러한 이미지 손실을 최소화하는 카메라 파라미터 (조리개,노출 시간, 이득) 제어 방법이 필수적이다.
본 학위 논문에서는 영상 손실을 복원 또는 최소화하여 비전 기반 로봇 항법 알고리즘의 성능을 확보하는 방법에 대하여 소개한다. 일반 환경 뿐 아니라 극한의 환경에 적합한 알고리즘을 제안하였으며, 다양한조건 및 환경에서 실제 실험을 통해 검증하여 가치를 증명하였다. 본 학위 논문의 기술적인 요약은 아래와같다.
첫째, 노출 시간이 서로 다른 두 장의 이미지를 합성하여 비전 기반 항법 알고리즘의 성능 향상 방법을제안하였다. 실내와 실외가 공존하는 공간에서 인공 조명 및 외부로부터 들어오는 빛의 조도 차이에 영상손실이 빈번하게 발생한다. 본 연구를 통해 조명 및 빛에 의해 손실되는 이미지 특성을 분석하고, 손실 영역검출 알고리즘을 제안하며, 노출 값이 서로 다른 두 이미지의 합성을 통해 영상의 전체 픽셀이 아닌 포화된 영역만 복원하는 방법에 대하여 소개한다. 부분적으로 과다 노출 (over-exposed)과 부족 노출 (under-exposed)된 환경에서 이미지를 취득하여 검증 하였다.
둘째, 앞선 연구를 토대로 포화 영역을 최소화 하는 카메라 노출 시간 제어 알고리즘을 제안하였다.기존의 카메라로부터 들어오는 빛의 양에 따라서 노출 시간을 결정하는 자동 노출 기능이 아니라 이미지를미리 분석하고 가장 최적의 이미지의 노출 시간을 결정하는 방법을 제안 하였다. 이미지 분석을 위해 이미지정보량 측정을 위해 그라디언트 (gradient), 이미지 손실량 측정을 위해 국소 엔트로피 (local entropy) 등을활용하여 이미지 메트릭 (metric)을 정의하였으며, 머신 러닝 기반 최적화 기법인 베이시안 최적화 (Bayesian Optimization)를 통해 최소한의 학습과정을 통해 빠르고 정확하게 글로벌 최적 값을 추정하였다.
셋째, 노출 시간 및 이득을 동시에 제어하기 위하여 잡음 (noise)를 고려한 메트릭을 재정의 하였다.그리고 실시간성을 확보하기 위해 실제 이미지가 아닌 카메라 응답 함수 및 이득 방정식을 통해 합성 이미지를 만들고 그 이미지의 메트릭을 분석 하여 2-D 베이시안 최적화 알고리즘으로 확장 하였다. 제안하는알고리즘을 실내, 실외, 그리고 동적인 환경에서 실제 실험을 통해 검증하였다. 제안된 방법은 20 40Hz속도를 지원하여 실시간성을 보장한다.
마지막으로, 과다노출 또는 동적인 환경에 집중한 이전 연구와 대조적으로 저조도 환경에 관하여 연구를 수행하였다. 저조도 환경에서는 일반적으로 노출 시간 또는 이득을 높여야 하지만 모션 블러나 노이즈같이 부정적인 요인이 존재하므로 노출에 제한을 두고 이용한다. 본 연구에서는 실제 이미지 한장으로 노출이 높은 합성이미지들을 만들고 이를 퓨전함으로써 저조도 환경에서 부정적인 요인을 최소화하는 고노출 이미지를 생성한다. 제안하는 알고리즘을 실내, 실외 어두운 환경에서 실제 실험을 통해 검증하였다.
