Visual surveillance system in the mobile-based platform is one of the most active research topics both in computer vision and in mobile robotics. Among them, an abandoned object detection problem in the public place has been significantly dealt with in order to prevent latent terrors and accidents. Previous researches related to the abandoned object detection have been frequently studied on a static camera that uses difference information between images.
This thesis concerns an abandoned object detection based on a mobile robot platform. For this purpose, a mobile visual surveillance system is proposed and implemented. Firstly, camera motion is analyzed. Generally, mobile robot has specific motions such as pitch, yaw, roll and dolly. Using optical flow, camera motions are estimated and are compensated using the image difference between background image and current image.
It is insufficient to extract the foreground image which is regarded as an abandoned object with just simple difference information between current image and background image in database. The proposed method employs image segmentation technique in advance to the main algorithm to get a better foreground image. To explain in detail, each segmented image with proper size is to be compared with an background image in database to find a matching part. If there is no matching segment, it is chosen as an abandoned object candidate. The matching criteria are the ratio of the number of corresponding feature to the total number of features. Among the abandoned object candidates, some candidates are regard as abandoned objects which have higher similarities measured by image difference.
The proposed framework implemented and verified in mobile robot which was developed for educational and entertainment purpose a house.
동적 환경에서의 비전 감시시스템은 컴퓨터 비전 연구와 모바일 로봇 연구의 주요한 연구분야이다. 그중에 공공장소에서 유기물 탐지를 위한 연구는 각종 테러와 사고를 미연에 막기 위해 유기된 물체를 탐지하고 이를 경보로 알려주는 분야이다. 유기된 물체를 탐지하는 기능은 이미 미국, 유럽 등 여러 국가에서 활발히 연구되고 있다. 기존 연구들은 정적 영상 기반으로 영상 차를 이용하여 유기물 탐지를 위한 영상 정보를 추출한다. 하지만 이를 모바일 로봇 플랫폼에 적용하기에는 기술적인 어려움이 따른다.
본 논문에서는 모바일 로봇 플랫폼을 이용한 유기물 탐지 개발에 중점을 둔다. 기존의 정적 이미지에서의 유기물 탐지는 초기에 저장된 배경 영상을 현재 영상과 비교하며 유기물이 발생하였는지 확인한다. 하지만 모바일 로봇은 실시간으로 움직이기 때문에 단순히 초기에 저장된 배경 영상을 이용한 유기물 탐지는 불가능 하다. 모바일 로봇 플랫폼 기반의 유기물 탐지를 위해서는 초기에 가능한 배경 영상을 미리 모두 저장하고 있어야 현재 이미지와 비교를 하여 유기된 물체를 탐지할 수 있다. 하지만 모바일 로봇의 위치와 시점에 따른 모든 배경 영상을 저장할 수 없으며 이를 위한 데이터 베이스는 제한되어 있다. 이에 따른 효율적인 데이터 베이스의 작성은 주요한 연구분야가 되며, 이후 데이터 베이스에서 현재 모바일 로봇이 받아들이는 영상에 가장 적합한 배경 영상을 추출해 내는 것도 또 다른 문제가 된다. 본 논문은 현재 영상와 기존에 저장된 배경 영상간에 불일치성을 고려하고 이러한 불일치 가운데서도 유기물을 찾아내는 방법을 제시하고자 한다. 이를 위해 먼저, 카메라의 움직임을 분석한다. 일반적으로 모바일 로봇에 따라 지정된 회전과 전진 움직임을 가지고 있다. 특히 전,후진 움직임과 회전 움직임이 많으며 이는 모바일 로봇 카메라에 영상의 이동과 크기변화로 나타난다. 영상 플로우를 사용하여 모바일 로봇의 이동에 따른 카메라의 모션을 예측하고 이를 보상할 수 있다. 영상 보상 이후에도 여전히 현재 모바일 로봇이 받아들인 영상과 기존의 배경 영상은 서로 정확히 매칭되지 않는 문제가 존재한다. 현재 영상과 기존의 배경 영상과의 단순한 차이를 통해서는 유기된 물체라 고려되는 전경 영상이 적절히 추출되지 않는다. 본 논문에서는 전경 추출을 위해 영상 영역 분할을 사용한다. 현재 모바일 로봇이 받아들이는 영상을 영상 영역 분할을 통해 일정 크기 이상의 영역의 영상을 추출하고 각 영역을 기존의 배경 영상과 비교하여 기존의 배경 영상에 없는 영역일 경우 이를 유기된 물체의 전경 영역으로 고려한다. 이는 현재 받아들인 영상과 기존의 배경 영상 간에 대응되는 대응점간의 비를 통해 구할 수 있다. 두 영상간의 대응점의 비를 통해 유기물 전경의 후보를 선택한 뒤 마지막으로 각 후보들과 기존 영상과의 유사도 비교를 통해 분할된 해당 영역이 유기물일 확률을 계산하고 이에 따라 유기물을 판별한다.
본 논문에서 제안된 방법은 교육과 엔터테인먼트 목적을 위해 제작된 모바일 로봇을 통해 구현 및 검증하였다.
