Novel types of media content are emerging with constant advancements in technology. The development of deep learning technology has given rise to deepfake technologies that synthesize highly natural human faces. The spherical panorama is receiving much attention as next-generation content, due to improvements in computing and network speeds. However, compared to the quantitative and qualitative growth of new types of content, such as deep fakes and spherical panoramas, technology that addresses the social problems caused by these new developments is lagging far behind. Deepfakes are spawning social problems, including pornography, fake news, and destruction of evidence. As such, various techniques to detect them are currently being investigated. Deepfakes are still difficult to detect, but easy to bypass the detection. Spherical panorama content has high value compared to existing contents. However, there are not many studies on technology that can protect the copyrights of spherical panorama content. Furthermore, leakage and protection scenarios have not yet been analyzed. This paper focused on analyzing the leakage and protection scenarios that may occur in the process of providing a spherical panorama content service. A watermarking method, which is an active forensic technique for protecting the copyrights of such content, is proposed. Spherical panoramic image watermarking technology must be capable of inserting a watermark in the source image as well as be able to detect the watermark in the perspective image that is rendered from the source image. To bypass various distortions between the source and perspective images, the watermark was detected after the perspective image was restored into an equirectangular formed image. In this paper, a deep learning model based on a convolutional neural network was used to restore the perspective image to an equirectangular formed image without the original source image. For the insertion and detection of the watermark, the magnitude coefficient of the discrete Fourier transform was used as the domain. The magnitude coefficient of the discrete Fourier transform has the following property: The coefficient value is not altered by the horizontal and vertical movements of the image. A robust watermark technique that protects against viewpoint desynchronization is proposed based on this unique property. Identifying the accurate viewpoint from the perspective image is a huge advantage in the spherical panoramic image watermarking technique. In addition, the technique’s robust defense against viewpoint desynchronization makes it possible to use a continuous viewpoint system to detect a watermark in a spherical panoramic image. A template method is also proposed to improve the system’s resistance against spherical angle translation attacks. This paper also proposes a passive forensic method that detects deepfakes without any prior information being inserted. Various deepfake detection techniques have been introduced; however, detecting all types of deepfake images with a single model remains a challenge. A technique for detecting various types of deepfake images is proposed. This technique involves the utilization of three common traces generated by deepfake: residual noise, warping artifacts, and blur effects. A network designed for steganalysis was adopted to detect pixel-wise residual noise traces. Moreover, landmarks, which are locations on the face where unnatural deformations primarily occur in deepfake images, to capture high-level features. Lastly, because the effect of a deepfake is similar to that of blurring, features from various image quality measurement tools that can capture traces of blurring were applied. The experimental results demonstrated that each detection strategy is efficient; the performance of the proposed network is stable as well as superior to that of existing detection networks on various deepfake type datasets.
기술적 발전으로 새로운 유형의 콘텐츠들이 계속 생겨나고 있다. 딥러닝 기술의 발전으로 더 자연스럽게 사람의 얼굴을 합성하는 딥페이크 기술들이 생겨났으며, 컴퓨터 및 모바일 기기의 연산속도 향상과 인터넷 속도의 향상으로 구형 파노라마가 차세대 콘텐츠로 각광 받고 있다. 하지만 딥페이크나 구형 파노라마와 같은 새로운 유형의 콘텐츠들의 양적, 질적 성장에 비해 이들로 인해 발생하는 사회적 문제를 해결하는 기술은 그 속도를 따라가지 못하고 있다. 딥페이크는 포르노, 가짜 뉴스, 그리고 증거 인멸 등의 사회적 문제가 발생하고 있어 이를 탐지하려는 기술들이 많이 연구되고 있지만, 여전히 탐지를 회피하는 것이 쉬운 상황이다. 구형 파노라마 콘텐츠는 이미지나 동영상과 같은 기존 콘텐츠에 비해 고부가가치를 가지지만 저작권을 보호할 수 있는 기술에 대한 연구가 많이 진행되지 않아 아직 유출 및 보호 시나리오 조차 정리된 것이 없다. 본 논문에서는 구형 파노라마 콘텐츠 서비스 제공 과정에서 일어날 수 있는 유출 및 보호 시나리오에 대해서 분석하고, 이에 대항하는 적극적 포렌식 기법인 워터마킹 방법을 제안한다. 구형 파노라마 이미지 워터마킹 기술은 재료 이미지에서 워터마크를 삽입할 수 있어야 하고, 재료 이미지를 렌더링 하여 사용자가 직접 보게 되는 뷰-이미지에서 워터마크를 검출할 수 있어야 한다. 재료 이미지와 뷰-이미지간의 다양한 왜곡을 우회하기 위해 뷰-이미지를 등장방형으로 복원한 후에 워터마크를 검출하는 방식을 사용한다. 본 논문에서는 원본 재료 이미지 없이 뷰-이미지의 등장방형으로의 복원을 위해서 컨볼루셔날 뉴럴 네트워크 기반의 딥러닝 모델을 사용하였다. 워터마크의 삽입과 검출을 위해서는 이산 푸리에 변환의 크기 계수를 도메인으로 사용하였다. 이산 푸리에 변환의 크기 계수는 이미지의 수평, 수직 이동에 수치가 변하지 않는 특성을 가진다. 우리는 이를 이용해 시점 비동기화에 대해서 강인한 워터마크 기법을 제안한다. 뷰-이미지로부터 정확한 시점을 찾는 것은 구형 파노라마 이미지 워터마킹 기법에 있어서는 큰 이점이다. 또한, 시점 비동기화에 대하여 강인한 성질은 연속적 시점 체제를 가진 구형 파노라마 이미지에서 워터마크 검출을 가능하게 한다. 우리는 또한 원본 없이도 구각도-변환 공격에도 강인하기 위해서 템플릿을 도입하는 방법을 제안하였다. 본 논문에서는 어떠한 사전 정보 삽입 없이 딥페이크를 탐지하는 수동적 포렌식 방법을 제안한다. 이미 다양한 딥페이크 탐지 방법들이 제안 되어왔으나, 하나의 모델로써 매우 다양한 유형의 딥페이크 이미지를 탐지하는 것은 여전히 어려운 과제이다. 우리는 다양한 유형의 딥페이크 이미지를 딥페이크의 3가지 공통 흔적을 (레지듀얼 노이즈, 와핑 아티팩트, 블러 현상) 이용해 탐지하는 것을 제안한다. 우리는 픽셀 단위의 레지듀얼 노이즈 흔적을 검출하기 위해 스테그-분석을 위해 고안된 네트워크를 기본 네트워크 모델로 사용하였다. 또한, 딥페이크에서 얼굴의 부자연스러운 변형이 발생하는 부분을 랜드마크로하여 고수준 흔적에 집중하여 딥페이크를 검출한다. 마지막으로, 딥페이크의 영향이 블러링과 유사하다는 점을 이용해 우리는 다양한 이미지 품질 측정 도구들을 이용해 블러의 흔적을 탐지하여 딥페이크를 찾아낸다. 실험 결과로써 제안하는 각각의 탐지 전략이 효과적임을 보였으며, 제안하는 탐지 네트워크의 성능이 다른 기법들에 비해 다양한 딥페이크 유형을 가진 데이터셋에 대하여 안정적이고 뛰어남을 보였다.
