Background subtraction, which is one of popular method in image segmentation, is kind of preprocessing under static camera environment for visual surveillance and virtual reality and so on. But it has traditional problem like illusion change and shadow. For this, there are many research work going on to solve this problem. In the recent, researcher can use depth data more easily because high performance and low cost RGB-D sensors are available in the market. Depth data is not influenced by endemic problem like illusion change and shadow, but sometimes there are unmeasured pixel or heavy noise from sensor limit. Therefore combining color data and depth data becomes important research issue because both are complementary to each other. In this work, we measure color mask reliability from a line nearby depth mask in a perpendicular direction for improving depth mask quality. Then if the reliability is high, we use color mask or energy minimization additionally to refine mask boundary according to situations. Finally to recover unmeasured pixel result, we use additionary color model. we perform experiments on our proposed method by public data which consider various problems in background subtraction and we verify uniformity and good performance.
배경제거 기법은 카메라가 고정된 환경에서 많이 쓰이는 이미지 세그멘테이션 기법 중 한가지로 비전 감시 시스템, 증강현실, 트래킹 등 여러 어플리케이션을 위해 많이 응용되는 전처리 기법이다. 그러나 배경제거 기법은 조명변화와 그림자 같은 고질적인 문제가 있으며 이를 해결하기 위한 많은 연구가 선행되어져 왔다. 최근에 좋은 성능과 낮은 가격의 RGB-D 센서가 많이 보급이 되어 깊이 영상정보를 쉽게 이용할 수 있게 되었다. 깊이 영상정보는 조명변화 및 그림자 같은 고질적인 문제에 영향을 받지 않는다는 장점이 있지만, 센서의 한계로 값이 측정이 되지 않거나 노이즈가 심한 문제가 있다. 즉 칼라와 깊이 영상정보는 상호보완적인 관계에 있으므로 둘의 특징을 결합시키는 연구가 중요해졌다. 본 연구는 깊이정보 외곽선을 개선하기 위하여, 깊이 영상정보 외곽선 주변에서 법선 벡터 방향으로 칼라 영상정보 모델의 결과 신뢰성을 측정한다. 그리고 신뢰성이 높을 경우에는 상황에 따라 칼라정보 결과 마스크를 이용하거나 에너지최소화 방법을 통해 외곽선을 다시 정한다. 마지막으로 깊이 정보의 소실된 영역을 복구하기 위하여 추가적인 칼라 모델을 사용한다. 본 연구에서 제안한 방법은 배경제거 기법에서 생길 수 있는 여러 문제를 고려한 일반적인 데이터를 이용하여 실험하였으며 항상 일정하게 좋은 성능을 보이는 것을 검증하였다.
