Light field (LF) camera captures rich information from a scene. Using the information, the LF de-occlusion (LF-DeOcc) task aims to reconstruct the occlusion-free center view image. Existing LF-DeOcc studies mainly focus on the sparsely sampled (sparse) LF images where most of the occluded regions are visible in other views due to the large disparity. In this paper, we expand LF-DeOcc in more challenging datasets, densely sampled (dense) LF images, which are taken by a micro-lens-based portable LF camera. Due to the small disparity ranges of dense LF images, most of the background regions are invisible in any view. To apply LF-DeOcc in both LF datasets, we propose a framework which is defined and divided into three roles: (1) extract LF features, (2) define the occlusion, and (3) inpaint occluded regions. By dividing the framework into three specialized components according to the roles, the development and analysis can be easier. Furthermore, an explainable intermediate representation, an occlusion mask, can be obtained in the proposed framework. The occlusion mask is useful for comprehensive analysis of the model and other applications by manipulating the mask. In experiments, qualitative and quantitative results show that the proposed framework outperforms state-of-the-art LF-DeOcc methods in both sparse and dense LF datasets.
라이트 필드 카메라는 한 장면으로부터 풍부한 정보를 획득한다. 이 정보를 이용하여 라이트 필드 가림 물체 제거 연구는 가림 물체가 없는 중심 시점 이미지를 복원하는 것을 목표로 한다. 기존의 연구들은 저밀도 라이트 필드 이미지를 대상으로 연구가 되어왔는데, 시차가 크기 때문에 다른 시점에서 가려진 배경 물체가 대부분 보인다. 반면 고밀도 라이트 필드 이미지는 마이크로 랜즈 기반의 휴대용 라이트 필드 카메라로 찍기 때문에 저밀도 라이트 필드 이미지 보다 쉽게 대량의 데이터를 모을 수 있는 장점이 있지만, 작은 시차 때문에 가려진 물제카 다른 시점에서도 거의 보이지 않는 문제가 있다. 본 논문에서는 라이트 필드 가림 물체 제거를 저밀도, 고밀도 라이트 필드 데이터셋에 모두 적용하기 위해서 세 부분으로 분리된 프레임워크를 제시한다: (1) 라이트 필드 특징 맵 추출, (2) 가림 물체 영역 정의, (3) 가려진 영역 인페인팅. 프레임워크를 세가지의 특화된 부분으로 나눔으로써 분석과 개발이 용이해지며, 해석 가능한 중간단계 표현인 가림 물체 영역 마스크를 얻을 수 있다. 실험을 통해 제안하는 프레임워크가 기존 연구들 보다 저밀도, 고밀도 라이트 필드 데이터셋에서 모두 높은 성능을 보여며 마스크 조작을 통해 기존에는 불가능한 다양한 응용이 가능함을 보여준다.
