From the definition of reality-virtuality continuum by Paul Milgram, human’s experience environments can be classified into four categories: real world(RW), augmented reality(AR), augmented virtuality(AV) and virtual reality(VR) environment.
Recent advancements in the computing capabilities of such devices as Google Glass, Kinect2 and Oculus Rift have drawn people’s attention which had stayed in RW environments to AR, AV and VR environments. Among them, AV services have gained tremendous popularity and have been widely employed in a variety of places such as home and shopping malls with the wide spread of RGB and RGB-D sensors like Kinect2.
AV services provide a user with experience expansion beyond time and space limitation, because the user can be put into any environment in a virtual world. But, the user can be easily distracted when seamless integration between RW objects and virtual worlds is broken. To give a full immersion to the user, it is required to extract a user’s silhouette with high accuracy and every processing must be conducted under real-time constraint.
In this dissertation, we propose fast and accurate foreground segmentation for RGB and RGB-D sensors. Firstly, adaptive mixture of Gaussians(MoGs) with observation masks control is proposed for RGB sensors to handle the stopped objects problem. Secondly, multi-weighted moving average(MWMA) and saliency- and depth-aided segmentation(SDAS) method are proposed for RGB-D sensors to solve flickering on the boundary and data loss on the head and feet of a human body, respectively. The qualitative and quantitative experimental results show that the proposed methods outperforms the previous methods in accuracy with a comparable speed.
1994년 토론토대학의 폴 밀그램 교수는 현실-가상 연속체(Reality-Virtuality Continuum)라는 개념을 통해 현실-증강현실-증강가상-가상현실 서비스를 구분해서 설명했다. 현실 서비스는 말 그대로 현실에 존재하는 시공간이라는 물리적 한계 내에서 경험하는 서비스를 말한다. 반면에, 증강현실/증강가상/가상현실 서비스는 가상이라는 개념을 통해서 시공간이라는 물리적 한계를 뛰어넘는 경험을 제공하는 서비스를 말한다. 증강현실은 현실 공간에 가상의 경험을 올리는 것이고, 증강가상은 가상의 공간에 가상의 경험을 올리는 것이며, 가상현실은 모든 경험을 가상에서 하게 되지만 경험의 주체(=인간)는 자신의 경험이 현실인지 가상인지 구분을 할 수 없는 것이다.
기술의 발달은 구글 글래스(Google glass), 키넥트(Kinect), 오큘러스 리프트(Oculus Rift) 등의 증강현실, 증강가상, 가상현실을 경험할 수 있는 장비들의 대중적인 확산을 가져왔다. 이런 장비들의 대중화는 사람들이 시공간을 뛰어넘는 경험을 할 수 있는 증강현실/증강가상/가상현실 서비스로 관심을 가지도록 이끌었다. 시공간을 뛰어넘을 수 있는 자유도 측면에서 위의 3가지 서비스의 순위는 증강현실<증강가상<가상현실 순서인데 그 이유는 다음과 같다.
증강현실은 현실이라는 공간에 가상을 증강시킴으로써 사용자의 경험을 넓히고자 하고 있다. 즉, 증강현실은 현실이라는 공간을 기본으로 하는 서비스로 시공간을 뛰어넘는 자유도 측면에서 현실이라는 공간의 제약이 존재한다. 반면에, 가상이라는 공간에 현실을 증강시킴으로써 사용자의 경험을 넓히고자 하는 증강가상/가상현실 서비스는 시공간을 뛰어넘을 수 있는 자유도 측면에서 증강현실보다 더 자유도가 높다고 할 수 있다.
위의 3가지 서비스 중에서 시공간을 뛰어넘을 수 있는 사용자 경험이라는 측면에서 가상현실 서비스는 최고의 목표가 될 것이다. 하지만, 궁극의 가상현실 서비스를 위해서는 사람이 가지고 있는 오감과 지각 능력을 완벽하게 모사하는 기술이 가능해야 하는데 현재 기술의 수준으로는 아직도 가야 할 길이 많이 남아있는 것으로 보인다. 앞에서 설명한 이유들로 인해 증강가상 서비스는 가상현실 서비스의 중간 가교로 주목을 받게 되었다.
증강가상은 가상이라는 공간에 현실을 증강시킴으로써 사용자의 경험을 넓히고자 하고 있다. 즉, 증강현실이 현실공간을 주요 공간으로 두고 가상을 증강하고 있는 반면에 증강가상은 가상공간을 주요 공간으로 두고 현실을 증강하고 있는 것이다. 우리가 가장 쉽게 떠올릴 수 있는 증강가상 서비스는 날씨예보 방송, 선거 방송, 키넥트 기반의 피트니스 게임 Get Fit with Mel B 등이 있다. 특히, 증강 가상 서비스는 방송국에서 시청자에게 다양한 컨텐츠를 효과적이고 흥미로운 방법으로 전달하기 위해 (1)가상 스튜디오를 구성하고 (2)그 스튜디오 안에서 움직이고 있는 사람들을 가상의 컨텐츠에 결합해서 증강가상 컨텐츠를 만들어 송출하는 형태로 많이 사용되고 있다. 그리고, 키넥트와 같은 저렴한 장비의 보급은 증강가상 서비스를 방송국이 아닌 개인의 공간으로까지 확대하고 있다.
증강가상 서비스의 성공을 위해서 가장 중요한 것은 사용자에게 몰입감(a sense of immersion)을 주는 것이다. 가상의 공간에 증강할 수 있는 현실 정보는 마이크를 통해 획득된 음성 정보, 카메라를 통해 획득된 시각 정보 등 다양한 종류가 있는데, 만일 현실에서 추출된 정보가 가상의 공간에 매끄럽고(seamlessly) 유기적으로 정합(integration)되지 않는다면 사용자의 몰입감은 깨어지게 된다. 예를 들어, 카메라를 통해서 획득한 사용자의 영역을 가상 공간에 결합 시켰을 경우 사용자의 영역 정보들 중에서 유실된 부분이 있거나 떨리는 부분이 있다면 사용자의 몰입도는 떨어지게 된다. (e.g.)키넥트 기반 피트니스 게임 Get Fit with Mel B
본 논문에서는 현재 사용자들에게 가장 많이 보급되어 있는 센서들인 영상(RGB) 센서와 영상-깊이(RGB-D) 센서로부터 취득된 영상 또는 영상-깊이 정보로부터 사용자 영역의 윤곽선(silhouette)을 빠르고 정확하게 추출하는 문제를 다룬다. 영상-깊이 센서는 깊이 정보를 얻을 수 있기 때문에 사용자에 대해 많은 정보를 얻을 수 있지만, 센싱(sensing) 거리가 짧아서 근거리 서비스에서 주로 사용된다. 반면에, 영상 센서는 시계(field of view)가 넓고 길기 때문에 원거리 서비스에서 주로 사용된다. 요즘은 키넥트의 성공에 힘입어 영상-깊이 센서 기반의 근거리 증강가상 서비스가 확대되고 있으며, 카메라를 장착한 대형 디스플레이가 영화관 쇼핑몰 등에 널리 보급됨에 따라 영상 센서 기반의 원거리 증강가상 서비스가 확대되고 있다.
본 논문에서는 영상-깊이 센서 기반의 근거리 증강가상 서비스의 사용자 윤곽선 추출에서 중요한 문제인 (1)손실 데이터 복구와 (2)떨림 데이터 복구 문제를 해결하고 있다. (1)손실 데이터 복구를 위해서 제안하는 방법은 현저함 지도(saliency map)와 슈퍼픽셀 지도(superpixel map)를 결합하는 것이다. 현저함 지도는 영상 위에 있는 각 점이 다른 점들에 비해서 얼마나 두드러지는 지를 확률 값으로 표현하는 지도이다. 우리는 현저함 지도를 통해서 영역(region)정보를 획득할 수 있다. 하지만, 현저함 지도에는 사용자가 아닌 영역도 현저한 영역으로 나오는 부분도 있으며 사용자의 정확한 윤곽선 추출은 힘들다. 그래서, 슈퍼픽셀 지도를 추가적으로 사용한다. 슈퍼픽셀 지도는 서로 비슷한 성질을 가지는 점들을 하나의 큰 점으로 묶어주는데, 그렇게 만들어진 큰 점의 경계선은 사용자의 윤곽선을 보존한다. 그렇지만, 현저함 지도와 슈퍼픽셀 지도를 결합하기 위해서는 어떤 부분들을 결합시켜야 하는지에 대한 정보가 필요하다. 우리는 결합을 위한 영역 추출에 마스크(mask) 이미지를 사용한다. (2)떨림 데이터 복구를 위해서 제안하는 방법은 영역의 모든 영역이 아닌 정적인 영역으로 한정해서 시간 필터(temporal filter)를 적용하는 것이다. 떨림 데이터는 센싱 성공과 실패가 반복되며 보이는 현상이다. 그러므로, 일정 시간 동안의 정보를 누적하는 시간 필터 방법을 적용하면 어느 정도 해결이 가능하다. 하지만, 시간 필터를 정적인 영역이 아닌 동적인 영역에까지 적용하면 질질 끌리는 꼬리(trailing) 문제가 발생한다. 우리는 각 영역의 활동 정도를 확률 값으로 표현하는 활동 움직임 지도(active motion map)를 이용하여 움직임이 적은 정적인 영역만을 추출한다. 그리고, 그 영역에만 시간 필터를 적용함으로써 질질 끌리는 꼬리 문제를 해결한다. 마지막으로, 저해상도에서 고해상도 이미지로 변환하는 과정에서 생기는 계단 현상을 해결하기 위해서 벡터화(vectorization) 방법을 적용하였다. 우리가 제안하는 (1)손실 데이터 복구와 (2)떨림 데이터 복구 해결 방법이 빠르고 정확한 사용자 외곽선을 획득한다는 것은 정성적이고 정량적인 실험을 통해서 확인되었다.
본 논문에서는 영상 센서 기반의 원거리 증강가상 서비스의 사용자 윤곽선 추출에서 중요한 문제인 멈춰있는 사용자(stopped object) 문제도 해결하고 있다. 원거리 증강가상 서비스는 카메라의 시계에 들어오는 대상이 매우 많아서 서비스를 제공해줘야 하는 대상이 매우 많다. 그러므로 사용자 윤곽선 추출과 같은 전처리(preprocessing) 부분에는 속도가 빠른 방법을 사용하는데, 배경 빼기(background subtraction) 방법이 가장 널리 사용되고 있다. 그 중에서도 적응성이 뛰어나고 빠른 속도를 보이는 적응형 혼합 가우시안 모델(adaptive mixture of Gaussians)이 가장 각광받고 있다. 하지만, 이 방법은 움직이던 사람이 멈췄을 경우 배경으로 학습을 하는 문제가 발생한다. 우리는 이 문제를 해결하기 위해서 K개의 가우시안을 사용하는 혼합 가우시안 모델의 각 가우시안을 개별적으로 분석한다. 적응형 혼합 가우시안 모델에서 사용자가 정적으로 변하면 시간이 지남에 따라 사용자의 영역은 K번째 가우시안에서 1번째 가우시안으로 점차적으로 이동을 하게 된다. 우리는 이 이동을 감시해서 정적 영역(static region)을 추출해서 증강(augmentation)하고 삭제(removal)하는 알고리즘을 제안했다. 우리가 제안하는 멈춰있는 사용자 문제 해결 방법은 정성적이고 정량적인 실험을 통해 사용자가 멈춰있는 경우에도 계속해서 검출할 수 있음이 확인되었다.
