With the rise of virtual reality, we can see an increase in the production of panoramic videos. Unlike perspective videos, panoramic videos have an unlimited field of view that captures the entire environment around the camera. The result is that everything, including film crew members and equipment, could end up in the final product because there is no place to hide them. To solve this issue, we could remove these unwanted objects from the video in post-production using inpainting. In this paper, a novel method of panoramic video inpainting is presented, one that is based on deep learning. This method makes use of two 3D convolutional neural networks to inpaint panoramic videos. The Frechet Video Distance is added to the loss function to encourage time consistency in the results. Furthermore, a border-matching term is used to make sure the inpainted results follow the border-matching constraint of panoramic imagery. Experiments show that this deep learning method is able to overcome the limitations of optical flow inpainting methods. Moreover, it also outperforms image inpainting methods that are based on deep learning, especially in terms of time consistency.
가상현실 기술이 발전함에 따라 파노라마 비디오 제작에 대한 수요 또한 늘고 있다. 그러나 파노라마 비디오의 경우 주변의 모든 장면을 촬영하게 되므로, 제작 과정에 어려움이 발생할 수 있다. 현장에 위치한 제작진과 촬영 장비 등 제작된 최종 비디오에는 숨겨져야 할 모든 장면이 비디오에 포함된다. 이러한 문제를 해결하기 위해, 포스트 프로덕션 과정에서 인페인팅 기법을 사용하여 원하지 않는 물체를 비디오에서 제거할 수 있다. 파노라마 비디오 인페인팅 기법은 지금까지 광학적 흐름 정보를 기반으로 하였으나, 이러한 기법은 완성하고자 하는 영역을 완전히 채울 수 있는 배경 정보가 충분하지 않은 경우가 발생할 수 있다. 이 논문에서는 심층 학습 기법을 바탕으로 한 새로운 파노라마 비디오 인페인팅 방법을 제시한다. 이 방법은 파노라마 비디오 인페인팅을 위해 두 개의 3D 컨볼루션 신경망을 이용한다. 비디오의 시각적 일관성을 보장하기 위해 손실 함수에 Frechet Video Distance를 추가하였다. 또한, 완성된 파노라마 비디오의 좌우 가장자리가 일치해야 한다는 조건을 만족하게 할 가장자리 매칭 항이 추가되었다. 결과 비디오를 통해, 우리의 심층학습 기반 방법은 기존의 광학적 흐름 방법의 한계를 극복했음을 볼 수 있다. 또한, 이 기법은 심층학습 기반의 프레임별 이미지 인페인팅 기법과 비교하여 시각적으로 일관된 결과물을 생성할 수 있다. 이러한 실험들을 통해, 본 논문에서 제시한 방법은 품질 및 시간적 일관성에서 향상된 비디오 결과물을 얻을 수 있음을 증명하였다.
