Recently, there has been active research in matting, focusing on the precise separation of objects from the background, especially when dealing with complex boundaries. This task is challenging as it involves predicting the position and extent of objects and requires a fine-grained distinction of object boundaries. To address this challenge, prior research has often resorted to providing hints to models about the target's location and extent using auxiliary inputs such as binary masks or trimaps. However, generating auxiliary inputs for each input can be costly. Meanwhile, facial transformation technologies are gaining increased demand across various application domains. However, the quality of facial transformation may significantly deteriorate when there are occlusions such as hair, or motion blur of objects on the face. In light of this, this paper introduces a novel problem known as ``Facial Matting", which aims to overcome these limitations by leveraging matting technology. As creating datasets for face matting is time-consuming and labor-intensive, we construct an artificially generated image dataset for training purposes. We empirically validated the dataset's effectiveness across various matting networks in trimap-free way, and assessed their performance using synthetically generated test benchmarks. Furthermore, to imbue time consistency into facial transformation techniques primarily performed in videos, we propose a framework for ``Temporal Consistency in Video Facial Matting" that utilizes non-labeled video training datasets. This framework aims to ensure that video facial transformations maintain temporal consistency throughout the duration of the video. In the end, we confirmed that employing this method enhances the quality of facial transformation technologies.
최근, 영상에서 객체를 배경으로부터 정확하게 분리해내는 매팅 연구가 활발하게 이루어지고 있다. 이 작업은 객체의 위치와 범위를 예측하고, 경계면을 섬세하게 구분해낼 수 있어야 하기에 난이도가 높다. 이에, 기존 연구는 이진 마스크, 삼진 마스크와 같은 보조 입력으로 모델에게 타겟의 위치와 범위에 대한 힌트를 제공함으로써 성능을 향상시켰지만 매 영상에 대한 보조 입력을 형성하는 것은 비용이 든다. 한편, 얼굴 변환 기술은 다양한 응용 분야를 가지어 그 수요가 점차 증가하고 있다. 하지만, 얼굴 앞에 머리카락, 모션 블러를 가지는 물체 등이 존재할 경우, 얼굴 변환 기술의 완성도가 크게 떨어지기에 얼굴 위에 폐색이 없도록 영상을 촬영해야한다. 이에, 본 연구에서는 (i) 매팅 기술을 활용하여 이 한계점을 해소할 수 있는 얼굴 매팅이라는 새로운 문제를 정의한다. (ii) 얼굴 매팅을 위한 학습 데이터셋을 형성하는 것은 굉장히 비용이 많이 소모되기에, 인공적으로 이미지 학습 데이터셋을 구축한다. 해당 데이터셋의 효과를 검증하기 위하여 다양한 네트워크에서 보조 입력 없이 얼굴 매팅을 학습하고, 인공적으로 합성한 표적 테스트 벤치마크에서 성능을 비교한다. (iii) 더 나아가, 이미지에서 학습시킨 네트워크를 비디오 도메인으로 확장시키기 위하여 비라벨 비디오 학습 데이터셋을 활용하는 프레임워크을 제안한다. 최종적으로 이 얼굴 매팅 기술을 통해 비디오에서 얼굴 변환 기술의 완성도를 크게 높일 수 있음을 확인하였다.
