VR/AR and media industry are on the rise. Consequently, post-production demand to achieve a level of visual perfection is increasing. One of the most common post-production techniques is head swapping, where the target head from a scene is replaced with a source head while preserving the original head’s pose, facial expression, and lighting. Usage of head swapping includes bringing back the deceased to the screen with stand-ins, action scenes with stunt performers, and VR or AR scenes for virtual human creation. To perform head swapping, present techniques necessitate a costly equipment, expert human intervention, and meticulous planning at the production stage. This underscores an urgent need for a more efficient, cost-effective solution that can streamline the head swapping process. Leveraging StyleGAN's ability to disentangle facial features, we propose the first pre-trained generative model to reduce the inference time significantly compared to the state-of-the-art head swapping solution. Our solution produces promising results with seamless compositing of the source head to the target frame by introducing a novel background blending optimization method and an ambient light correction module. It is envisaged that this research will shed light on this less studied topic, fostering further scholarly discourse in the realm of head swapping research.
최근 VR/AR와 미디어 산업이 급부상하고 있다. 이에 따라 시각적 완성도를 달성하기 위한 후처리 수요가 증가하고 있다. 가장 일반적인 후처리 기술 중 하나는 헤드 스왑(head swapping)이다. 이는 대상 장면의 헤드를 소스 헤드로 교체하는 동시에 원본 헤드의 자세, 표정 및 조명을 보존하는 작업이다. 헤드 스왑의 활용 사례로는 고인을 대체 배우로 스크린에 되살리는 경우, 위험한 액션 장면을 찍기 위해 스턴트 배우를 사용하는 경우, VR 또는 AR 환경에서 가상 인물 생성하는 경우 등이 있다. 헤드 스왑을 수행하기 위해 현재는 높은 비용의 장비, 전문 인력의 개입, 그리고 철저한 계획을 통한 제작 과정을 필요로 한다. 이와 같은 다양한 비용적 문제로 헤드스왑 문제를 보다 효율적이고 경제적인 솔루션으로 개선할 필요가 있다. 본 논문은 스타일갠의 얼굴 특징 분리 능력을 활용하여, 최신 헤드 스왑 솔루션과 대비해서 추론 시간을 크게 줄일 수 있는 헤드 스와핑을 위한 첫 사전 훈련된 생성 모델을 제안한다. 본 논문에서 제안한 방법론은 소스 헤드를 대상 프레임에 매끄럽게 합성하기 위해 새로운 배경 블렌딩 최적화 방법과 주변광 보정 모듈을 도입하여 최종 헤드 스와핑된 결과를 도출한다. 본 연구는 헤드 스와핑 문제를 기존 방법론과는 다른 시각으로 풀어내면서 아직 많은 연구가 필요한 헤드 스와핑 분야에 더 많은 학문적인 토론을 촉진할 것으로 기대된다.
