Robot technologies are expected to significantly improve human safety and convenience by substituting for human workers. Many robot systems such as autonomous vehicles and humanoid robots were implemented and disclosed to the public through various press media and famous events such as DARPA challenges. The robot systems are expected to carry out diverse tasks in the human world, and sensing and recognizing surrounding environments is one of the fundamental abilities of the robots, and diverse sensors have been developed for "robot sense". Among them, image and depth sensors are widely used and provide a most useful information for surrounding environments, and there has been a large amount research in the field of computer and robot vision using these sensors. However, when trying to exploit the algorithms to recognize the surrounding environments, we often suffer from lower performance of the algorithms than the performance on their report under outdoor environments.
In this dissertation, to prevent the performance degradation of the algorithms we propose robust visual sensing methods using sensor fusion approaches to obtain high-quality visual information for robotic sensing with actual implementation cases.
First, we present a new method to automatically adjust camera exposure for capturing high-quality image by exploiting relationship between gradient information and camera exposures. Since most of robot vision algorithms heavily rely on low-level image features, we pay attention to the gradient information in order to determine a proper exposure level and make a camera capture important image features robust to illumination conditions. Additionally, we introduce a new control algorithm to achieve both the brightness consistency between adjacent cameras and the proper exposure level of each camera for multi-camera systems. We implement our system with off-the-shelf machine vision cameras and demonstrate the effectiveness of our algorithms on several practical applications such as pedestrian detection, visual odometry, surround-view imaging, panoramic imaging, and stereo matching.
Second, we present a high-quality depth generation method which propagates iteratively unstructured sparse depth points by fusing sharp edge boundaries of the depth data and the corresponding image. Our depth processing method explicitly handles noisy or unreliable depth observations and refines depth map using image and depth guidance scheme, and filter out unreliable depth points using confidence map.
The confidence map is converted into binary mask using proposed self-learning framework which automatically generates labeled training dataset. We show the performance of our depth generation method quantitatively and qualitatively on several synthetic and real-world datasets.
Finally, we present intelligent robotic systems that I participated in development, which manages and fuses information obtained from various detection algorithms. One of them is KAIST autonomous driving system, named EURECAR, and the other is KAIST humanoid system, named DRC-HUBO+. The two intelligent robotic system integrates various vision based detection algorithms by modular network architecture with proposed high-quality visual sensing system. EURECAR system was evaluated on challenging real track with a set of traffic signals at Hyundai Autonomous Vehicle Competition(AVC) 2012 and showed good performance, and DRC-HUBO+ also showed its performance at the DARPA Robotics Challenge(DRC) Finals 2015. The robot successfully carried out all tasks, and we got first place with full score.
로봇 기술의 발전은 인간의 안전과 편리함을 상당히 향상시킬 것으로 기대되고 있고, 무인자동차나 인간형 휴머노이드 로봇과 같은 로봇 시스템들이 개발되어 언론이나 재난대응로봇 경진대회(DARPA Robotics Challenge) 등을 통하여 대중에게 공개되고 있다. 이런 로봇 시스템들은 사람들이 살고 있는 환경에서 사람들을 대신하여 위험한 작업같은 다양한 임무를 수행하기를 기대하고 있다. 이를 위해서 사람들은 로봇이 주변 환경을 "감지"하고 "인지"하는 것을 기본적인 능력으로 기대하며, 이런 "로봇 감각"을 위해 다양한 센서들이 개발되고 있다. 이 센서들 중에서 영상 정보와 깊이 정보를 획득하는 센서가 주변 환경에 대한 매우 유용한 정보를 제공해주고 있고, 가장 널리 사용되고 있으며, 이런 영상과 깊이 정보를 제공해주는 센서들을 이용하여 로봇 비전 분야에서 매우 많은 연구들이 진행되고 있다. 하지만, 기존에 연구된 많은 종류의 알고리즘들을 실제로 적용하여 보면, 논문 등에서 보고된 것보다 그 성능이 상당히 떨어지는 경우가 다수 존재한다.
본 학위 논문에서는 이런 알고리즘들의 성능 저하를 방지하기 위해서 센서 융합을 이용한 고품질 시각 인지 방법을 제시한다. 제안하는 방법은 실제 로봇이 야외 환경에서 고품질의 영상과 깊이 정보를 획득할 수 있도록 데이터 품질 자체의 향상을 그 목적으로 하며, 실제 로봇 실험을 통하여 그 강인함을 검증하였다.
첫번째로, 고품질의 영상 정보를 획득하기 위한 새로운 카메라 자동 노출 방법을 소개한다. 대부분의 컴퓨터 비전 알고리즘들은 저 수준의 영상 특징 정보에 매우 의존적인 특징을 이용하여, 우리는 알고리즘 과점에서의 최적 카메라 노출값을 결정하기 위해 영상 정보의 저 수준의 특징값 중 대표적이면서 조명 변화에 강인한 이미지 그라디언트 정보가 최대가 되도록 카메라 노출값을 결정하는 방법을 제시한다. 추가적으로 본 논문에서는 다중 카메라 시스템에서도 본 방법을 적용하기 위한 카메라 노출값 균형 보정 방법도 소개한다. 제안하는 방법을 성능을 검증하기 위해 다양한 야외의 조명조건에서 실험을 수행하였으며, 보행자 검출, 차량용 전 방향 모니터, 스테레오 매칭 등 다양한 비전 알고리즘을 사용하여 실제 알고리즘의 성능이 기존의 카메라 노출값을 사용하였을 때 보다 향상됨을 보였다.
두번째로, 고품질의 깊이 정보를 생성하기 위한 방법을 소개한다. 제안하는 방법은 부족한 깊이 정보와 이에 상응하는 영상 정보를 융합하여, 정확하면서 영상 정보 수준의 밀도를 가지는 깊이 정보를 생성하는 방법이다. 본 논문에서는 정확한 깊이 정보의 생성을 위해 명확하게 깊이 정보의 에러와 신뢰성이 낮은 값들을 분류하며 신뢰성이 높은 깊이 정보만을 효과적으로 추출한다. 이를 위해 자가 학습 기반의 신경망 회로 구조가 적용되었으며, 제안하는 구조는 스스로 학습 정보를 추출하고 분류하여, 최적의 깊이 정보을 확보하기 위해 어떠한 사람의 개입없이 자동적으로 학습한다. 제안하는 방법은 검증된 실내과 실외용 데이터 셋을 사용하여 기존 방법 대비 제시하는 방법의 강인함을 보였으며, 실제 로봇 시스템에 적용하여 로봇의 행동 안정성과 다양한 비전 알고리즘의 성능 향상을 실제적으로 보였다.
마지막으로, 본 논문에서는 제안된 방법이 적용되었고, 직접 개발에 참여하였던 두 개의 지능형 로봇 시스템을 소개한다. 하나는 EURECAR라고 이름 지어진 KAIST 자율주행자동차 시스템이고, 다른 하나는 DRC-HUBO+로 KAIST의 대표적인 휴머노이드형 로봇이다. 두 지능형 로봇 시스템 모두 다양한 비전을 사용한 검출 알고리즘을 탑재하고 있으며, 직접 설계한 네트워크 모듈형 소프트웨어 구조로 "로봇 센싱"을 처리하고 있다. EURECAR는 2012년도 현대 자율 주행 자동차 경진대회(AVC)에서 거의 모든 임무를 완수하며 성공적으로 주행을 완료하였으며, DRC-HUBO+는 2015년도에 미국 국방 고등 연구 기획청(DARPA)에서 주최한 재난대응로봇 경진대회에 출전하여 모든 임무를 성공적으로 수행하여 우승하였다.
