Video surveillance is a popular consumer application that is used for various purposes such as public safety, facilities surveillance, and traffic monitoring. In a general video surveillance system, video streams from cameras are sent to a control center and operators monitor the videos. But human operator monitoring of the views every moment of every day is almost impossible; so, smart surveillance systems are required, systems that are capable of automated scene analysis. There are a number of studies to enable smart video surveillance in a multi-camera network. Most of the studies, however, treat central processing approaches in which a scene analysis is processed inside a central server domain once all available information has been collected in the server. Such approaches require tremendous efforts in building the system and, moreover, limit the scalability. To accomplish scalable smart video surveillance, an inference framework in visual sensor networks is necessary, one in which autonomous scene analysis is performed via distributed and collaborative processing among camera nodes without necessity for a high performance server. In this paper, we propose a collaborative inference framework for visual sensor networks and an efficient occupancy reasoning algorithm that is essential in smart video surveillance based on the framework. We estimate the existence probabilities for every camera and combine them using the inference-tree architecture in a distributed and collaborative manner. We aim for practical smart video surveillance systems.
영상 센서를 이용한 위치 추론은 전통적인 컴퓨터 비전 문제로 지능형 감시 시스템, 운동선수의 움직임 분석, 그리고 HCI 같은 많은 영상 기반 어플리케이션에서 핵심 프로세스로서 사용된다. 영상 센서는 넓은 감시 영역, 풍부한 데이터, 그리고 사용자에게 익숙한 데이터 등 많은 장점으로 위치 추론을 포함한 상황 인지를 위해 가장 흔히 사용되는 센서 중 하나이다. 이런 장점들을 기반으로 영상 센서를 이용한 위치 추론에 관한 많은 연구가 진행되어 왔고 제품화 되어 사용되고 있다. 하지만 객체간의 가림, 3차원 정보 결핍 등으로 인하여 하나의 영상 센서를 이용해 정확한 위치 추론을 하기는 매우 어렵기 때문에, 다수의 카메라를 이용한 방법이 많이 연구되고 있다.
기존의 많은 멀티 카메라 기반 위치 추론 문제들은 각 카메라로부터 얻은 영상 데이터를 소수의 강력한 서버에 모아서 분석하는 중앙 처리 방식을 따른다. 이러한 방식은 처리 능력이 충분하기 때문에 많은 계산을 요구하는 복잡한 비전 알고리즘을 사용할 수 있지만, 확장성 측면에서는 한계가 있다. 정확한 추론이 필요하거나, 넓은 지역을 감시하기 위해서는 카메라 수의 증가가 불가피하지만, 이를 뒷받침할 수 있는 서버의 능력에는 한계가 있기 때문이다. 따라서 영상 센서를 이용한 위치 추론이 가장 많이 사용되는 감시 시스템의 경우 비슷한 계산 능력을 가진 많은 수의 카메라를 이용하기 위해선 분산 처리 방식이 많이 사용된다.
근래 이미지 센서 기술의 발전으로 저가의 고성능 초소형 영상 센서 개발이 가능해짐에 따라, 스마트 카메라라고 불리는 영상촬영, 온-보드 프로세싱, 그리고 통신 능력을 갖춘 영상 센서 플랫폼이 개발되고 있다. 또한 센서 네트워크 기술의 발전으로 수 백, 수 천대 이상이 연결된 대규모 시스템이 흔히 볼 수 있게 되었다. 이 두 기술이 접목되어 더 넓은 영역을 감시하고, 네트워크를 통한 분산 및 협업 프로세싱을 통해 컴퓨터 비전 문제를 풀 수 있는 영상 센서 네트워크라는 새로운 분야의 탄생을 이끌었다.
영상 센서 네트워크는 큰 잠재력을 가졌음에도, 실용적으로 사용하기에는 아직 해결해야 할 많은 문제가 있다. 무엇보다 영상 센서 네트워크는 계산 능력, 에너지, 그리고 네트워크 대역폭 등 이용할 수 있는 자원이 한정되어 있기 때문에, 영상 센서 네트워크에서 동작하는 컴퓨터 비전 알고리즘은 가능한 가볍고 자원 효율성이 좋아야 한다. 영상 센서가 생성하는 영상 데이터는 기존의 온도, 습도, 그리고 압력 같은 스칼라 데이터에 비해 매우 크기 때문에 많은 네트워크 대역폭이 필요하다. 무선 네트워크의 경우 대역폭도 작을 뿐 아니라 통신에 소모되는 에너지가 데이터 처리시 드는 에너지에 비해 상당히 크기 때문에, 로컬 프로세싱을 통해 통신에 사용하는 데이터의 크기를 줄여야 하고 및 통신 횟수를 최소화 하여야 한다. 하지만 많은 계산을 요구하는 복잡한 비전 알고리즘의 경우 오히려 처리시 드는 에너지가 훨씬 더 커질 수 있으므로 주어진 자원에 균형을 유지한 알고리즘이 필요하다.
본 논문에서는 전통적인 컴퓨터 비전 문제인 위치 추론을 영상 센서 네트워크에서 분산 및 협업을 통해 효과적으로 수행하도록 하는 문제를 다룬다. 다수의 카메라를 이용할 때와 마찬가지로 영상 센서 네트워크를 이용한 위치 추론 시에도 객체가 밀집된 상황, 일부 데이터가 잘못 측정되거나 왜곡된 상황, 그리고 조명 같은 외부 요인에 의한 환경이 변화된 상황 등 다수의 카메라를 이용한 위치 추론 시 이슈가 되는 여러 근본적인 문제들이 고스란히 존재한다. 게다가 사용할 수 있는 자원은 한정되어 있기 때문에 가능한 가벼운 알고리즘을 사용해야 하고, 통신 비용을 최소화 해야 한다.
다수의 카메라를 이용한 전통적인 객체 위치 추론 방법은 각 영상 센서로부터 객체를 역 투영한 원뿔들의 교집합을 이용하여 객체의 위치를 계산한다. 흔히 계산을 간단히 하기 위해 3차원 원뿔을 지면에 평행한 평면으로 투영한 뒤, 투영된 원뿔들의 교집합을 이용하여 객체의 점유 공간을 구한다. 다수의 카메라를 이용할 경우, 객체가 실제로 존재하는 위치에서는 교차가 많이 이루어지는 사실에 기반하여, 얼마나 많은 교차가 이뤄졌는지를 이용하여 확률적으로 객체의 위치를 추론한다. 교차를 구하기 위해선 다수의 카메라 정보를 병합해야 하는데, 가용 자원이 제한적이므로 가벼운 알고리즘을 통해 네트워크 전송량을 최소화 하는 것이 필수다. 그리고 실제로 존재하지 않지만 객체 간의 가림 현상으로 인하여 생성된 교차, 즉 고스트 객체를 생성되게 되는데, 이러한 고스트 객체의 숫자는 카메라 구성이 복잡해 질수록 증가한다. 따라서 영상 센서 네트워크 상에서 모든 교차점 중에 어느 곳이 진짜 객체가 존재하는 위치인지 판별하는 문제는 아직 해결하기 어려운 문제이다.
본 논문에서는 이 문제를 풀기 위해 멀티 카메라 기반 객체 위치 추론 시에 가장 많이 사용되는 확률 지도(Probability Map)를 이용한다. 확률 지도는 지면을 일정 간격으로 분할 한 뒤, 분할 된 각 점 위에 객체가 존재할 확률 값을 이용하여 구한다. 각 영상 센서는 주어진 자원이 제한되어 있으므로 분산 및 협업을 통해 시계(Field Of View)가 겹쳐진 전체 영역의 확률 지도를 구한다. 각 영상 센서에서는 취득한 영상으로부터 가벼운 비전 알고리즘을 통해 로컬 확률 지도를 생성하고, 트리 형태의 협업을 위한 데이터 구조를 통해 효율적으로 확률 지도를 완성한다.
로컬 확률 지도를 생성하기 위해, 우선 각 영상 센서에서는 간단한 사각형 모델을 이용한 객체 검출 과정을 통해 이미지 평면 상에서 지면에 대응하는 모든 픽셀에 대해서 각 픽셀에 객체가 존재할 확률을 구한다. 이렇게 이미지 평면 상에서 구해진 확률 값을 분할된 지면상의 점으로 투영하여 로컬 확률 지도를 생성한다. 이때 이미지 평면의 픽셀 수에 비해 분할된 지면상의 점은 현저히 적으므로 공유할 데이터의 크기는 상당히 작아지게 된다. 이렇게 구해진 로컬 확률 지도는 트리 형태의 데이터 구조를 이용해 공유하게 되는데, 트리 상의 각 노드는 자식 노드의 확률 지도를 자신의 확률 지도와 결합하여 부모 노드에게 전송하게 된다. 이 방식의 장점은 노드간의 통신 횟수를 최소화 하고 각 노드에 걸리는 부하의 균형을 유지하며 전체 데이터를 모을 수 있다는 것이다.
