We live in a digital image era. With digital cameras and mobile cameras, we can shoot digital images anytime, anywhere, and share images with social network services or mobile messenger services to anyone. When we look at digital images, we tend to believe that they are real scenes. In many cases, however, digital images contain fake information that has not happened. Today, there are more and more the manipulated images which contain fake information because anyone can make manipulated images easily by using image-editing programs such as Photoshop or by using deep learning method which called Deepfake. These manipulated images can be exploited in a variety of places, such as fake news, document forgery, and this leads to various social problems. To prevent these social problems researchers have proposed image manipulations detection methods in various aspects since about twenty years ago, however, most of the methods can be applied to only specific environments, and it is difficult to use them for real-world images. This paper proposes an image manipulation detection method that operates in an environment similar to real image distribution environment by using a neural network. In the second chapter, we first introduce the paired mini-batch training method, which allows neural networks to learn subtle differences of images faster and more accurately, and prove the efficiency of the training method through various experiments. Then we introduce the actual manipulated images obtained through image forensic service for about two years and describe the making process of a new double JPEG image dataset with using 1120 quantization tables extracted from the collected JPEG images in the third chapter. After that, we propose the new network for detecting double JPEG and show detecting various manipulations in the JPEG images using the trained network.
디지털 카메라와 모바일 카메라가 널리 보급되면서 우리는 언제 어디서나 디지털 이미지를 촬영할 수 있게 되었고, 촬영한 디지털 이미지를 소셜 네트워크 서비스, 모바일 메신저 등 다양한 인터넷 서비스들을 이용하여 전송하거나 공유하며 살고 있다. 우리는 디지털 이미지를 볼 때 우리는 그것이 사실이라고 믿는 경향이 있지만 많은 디지털 이미지는 가짜이며 실제 일어나지 않은 장면을 담고 있다. 이러한 가짜 이미지는 가짜 뉴스, 보고서 조작 등 다양한 곳에서 악용되어 다양한 사회 문제를 야기시킨다. 가짜 이미지로 발생하는 여러 사회 문제를 예방하거나 해결하기 위해 많은 연구자들은 이미지의 조작을 탐지하는 기술을 제안하였지만 기존의 이미지 조작 탐지 기술은 제한적인 특정 이미지 환경에서만 작동하기 때문에 실제 이미지 유통 환경에서 사용하기가 거의 불가능한 실정이다. 본 논문에서는 인공신경망 기술을 사용하여 실제 이미지 유통 환경과 비슷한 환경에서 동작하는 이미지 조작 탐지 기술에 대해 제안한다. 두 번째 장에서는 이미지의 미세한 차이를 구분하도록 네트워크를 학습시키는 paired mini-batch 학습법에 대해 소개하고, 제안한 학습법의 효용성을 다양한 실험을 통해 증명한다. 세 번째 장에서는 약 2년동안 이미지 조작 탐지 서비스에서 의뢰된 다양한 실제 이미지들에 대해 소개한 뒤, 의뢰된 JPEG 이미지로부터 추출한 1120개의 quantization table을 이용해 생성한 데이터셋에 대해서 설명한다. 또한 single JPEG과 double JPEG을 구분할 수 있는 네트워크 구조를 제안한 뒤, 이를 이용하여 JPEG 이미지에서 발생하는 다양한 조작을 탐지하는 방법에 대해 소개한다.
