We address removal of reflected virtual images in visual recognition system. Images reflected by mirror are similar to real object, so it is non-trivial task to differentiate them. Conventional object detectors, which do not deal with this problem, obviously recognize reflected image as real object. We propose a new method for elimination of reflected virtual images utilizing 3D depth information. The proposed method compares relationship between spatial information of environment where an object exists and detected object in 3D space to discriminate mirror reflection image. As a representative case of object detection performance degradation caused by mirror reflection, we selected a detecting people in indoor environment as target system to solve the problem. We propose a deep learning based method that detects layouts of indoor environment using semantic segmentation and plane detection. We also propose a method of processing the reflected image using the relationship between the detected layout and the 3D coordinates of the person candidates. To verify the proposed method, a large dataset was obtained in a real world environment. The performance of the algorithm is verified by comparing conventional detector with proposed method in the obtained dataset.
본 논문에서는 영상기반 물체 검출기에서 거울 반사에 의한 허상 이미지가 실제 물체로 인식되는 오류를 수정하는 방법에 대해 다루었다. 거울에 반사된 이미지는 실제 물체와 외형적으로 차이가 없다. 이에 따라 기존 물체 검출기는 반사에 의한 허상 또한 실체 물체로 인식하는 오류를 발생시킨다. 본 논문에서는 3D 깊이 영상 정보를 활용하여 해당 오류를 해결하는 방법을 제안한다. 제안하는 방법은 물체가 존재하는 환경과 검출된 물체의 3D 공간에서의 관계를 비교하여 거울 반사 이미지를 판별한다. 거울 반사 이미지가 검출 오류를 발생시키는 대표적인 예로써, 본 논문에서는 실내 환경에서 사람을 검출하는 경우를 가정하여 문제를 해결하고자 하였다. 실내 환경에서 공간 정보는 벽, 바닥, 천장과 같은 레이아웃으로 표현될 수 있다. 따라서 영상 분할과 평면 검출을 활용하여 실내 환경의 레이아웃을 검출하는 딥러닝 기반의 알고리즘을 제안하였다. 또한 검출된 레이아웃과 기존 검출기로부터 얻은 사람 후보의 3D 좌표 간의 관계를 이용하여 반사 이미지를 처리하는 방법을 제안하였다. 제안한 방법을 검증하기 위하여 실제 생활 환경에서 대규모 데이터셋을 획득하여 이용하였다. 획득한 대규모 데이터셋에서 기존 검출기와 제안한 방법의 비교를 통해 제안한 알고리즘의 성능을 검증하였다.