We propose an effective invariant feature learning algorithm for Deepfake detection that is robust to unseen Deepfake methods. Recently, elaborate face-swap techniques using deep learning, so-called Deepfakes, have emerged with the advanced deep learning-based image generation technology. As a result, it has been challenging to distinguish between the original face image and the swapped one with naked eyes. Moreover, social threats have been increasing due to cases of exploiting Deepfakes. Existing Deepfake detection methods exploit specific abnormal signals in Deepfakes. However, the performances were degraded for unseen Deepfake methods. This failure is because the detection model learned specific method-dependent features that mostly depend on the training environments rather than invariant features across various Deepfake methods. To resolve the issue, we propose an effective invariant feature learning algorithm, called Adversarial Invariant Risk Minimization (AIRM), which exploits adversarial learning and invariant risk minimization to extract invariant features across different Deepfake environments. We demonstrate that the proposed algorithm enables models to be more robust in unseen Deepfake environments. We also analyzed quantitatively and qualitatively that these detection models effectively learned invariant features. Furthermore, we suggest a fair data sampling technique that allows the model to avoid being biased in specific environments in the training process, which makes it possible to effectively extract invariant features.
이 논문에서는 새로운 딥페이크 환경에 강인한 딥페이크 탐지 모델 학습에 효과적인 불변 특징 학습 알고리즘을 제안한다. 최근 인공신경망 기반의 이미지 생성 기술 발전과 함께 사람의 얼굴을 정교하게 바꾸어 합성하는 딥페이크 기술들이 등장하게 되었다. 그 결과, 더 이상 사람의 눈으로 진위를 구분하지 못하는 상황이 도래했고 이를 악용하는 사례가 등장하면서 사회적 논란과 위협이 증가하고 있다. 기존의 탐지 기법들은 딥페이크의 특정 이상 신호를 기반으로 탐지하고자 했지만, 새로운 딥페이크 환경에서는 좋은 성능을 보이지 못했다. 이러한 문제는 탐지 모델이 딥페이크 방법들이 가진 불변 특징을 온전히 학습하기보다 학습 환경에만 의존하는 특징을 학습하였기 때문이다. 이를 해결하기 위해, 우리는 서로 다른 딥페이크 방법들이 가진 불변 특징을 효과적으로 학습할 수 있는 적대적 불변 위험 최소화 알고리즘을 제안한다. 제안한 알고리즘은 새로운 딥페이크 환경에서 보다 강인한 성능을 보여주었고 모델이 불변 특징을 학습한 것을 정량적, 정성적으로 확인했다. 또한, 공평한 데이터 추출 기법을 제안하고 이를 통해 모델이 특정 학습 환경에 편향되지 않도록 하여 효과적으로 불변 특징을 추출하게 했다.
