Editing images has become easier than ever before with the development and distribution of smartphones with high-end cameras and editing applications. Meanwhile, the distribution of these images become intractable due to social network service and it continues to arise due to fake news using theses manipulated images, therefore, it is important to detect image manipulations. To achieve this goal, it has been common to train a neural network. In this dissertation, the two concepts of training a neural network that is specialized for manipulation detection in digital images. First, we propose BitMix, a data augmentation method for spatial image steganalysis. BitMix mixes a cover and stego image pair by swapping the random patch and generates an embedding adaptive label with the ratio of the number of pixels modified in the swapped patch to those in the cover-stego pair. We explore optimal hyperparameters, the ratio of applying BitMix in the mini-batch, and the size of the bounding box for swapping patch. The results reveal that using BitMix improves the performance of spatial image steganalysis and better than conventional data augmentation methods. Second, a multi-domain data processing of an JPEG compressed image to identify twenty different manipulations is proposed. We proposed MCNet that learns forensic features for each domain through a multi-stream structure and distinguishes manipulations by comprehensively analyzing the fused features. Our work jointly considers visual artifacts caused by image manipulations and compression artifacts due to JPEG compression; therefore, rich forensic features can be explored and learned in the training phase. To demonstrate the effectiveness of the proposed MCNet, extensive experiments were conducted using state-of-the-art baselines. Compared to these baselines, our proposed method outperforms in terms of multi-class manipulation classification. In addition, we experimentally proved that the fine-tuned model based on the multi-class manipulation task was effective for different forensic tasks such as DeepFake detection, seam-carving detection, or integrity authentication of JPEG images.
이미지 조작은 고사양의 카메라와 편집 소프트웨어를 포함하는 스마트폰들의 보급으로 인하여 그 어느 때보다 난이도가 낮아졌다. 한편, 이러한 이미지의 전파는 소셜 네트워크 서비스 등으로 인하여 추적조차 힘든 상황에서 이를 이용한 가짜뉴스도 계속 발생하고 있다. 따라서, 이미지 조작 탐지의 중요도가 점차 높아지고 있다. 이러한 이미지 조작 탐지를 위해서 점차 뉴럴 네트워크를 학습하는 방식을 많이 사용하고 있다.
본 논문에서는 이미지 조작 탐지를 위한 뉴럴 네트워크 학습에 특화된 두 가지의 학습 방법을 제안한다. 먼저, 이미지 스테가날리시스를 위한 데이터 증강법인 BitMix를 제안한다. BitMix는 원본과 메시지 삽입 이미지를 일정 비율로 섞고, 이로 인해 섞인 스테가노그래피 픽셀의 비율에 대응되는 라벨을 생성한다. 우리는 배치 내의 BitMix 적용 비율과 스왑할 패치의 최디 사이즈 등 다양한 매개변수에 대한 최적화를 진행하였다. 실험 결과 BitMix는 전통적인 데이터 증강법 대비 이미지 스테가날리시스의 성능을 향상시켰다. 다음으로, 우리는 다양한 도메인에서의 데이터 전처리를 통해 JPEG 압축 이미지에서 20가지의 서로 다른 조작을 탐지하는 기법을 제안한다. 제안하는 MCNet은 다양한 도메인의 포렌식 피처를 다중 스트림을 통해 추출하고 이를 복합적으로 분석하여 이미지 내부의 조작을 탐지한다. 제안하는 기법은 조작으로 인해 발생한 시작적 특성과, JPEG 이미지 압축 흔적을 복합적으로 고려하여, 네트워크가 풍부한 특징들을 사용하여 학습한다. 실험 결과 최신 기법 대비 높은 성능을 보였을 뿐만 아니라, 학습 완료된 네트워크를 사용한 전이학습을 통해 딥페이크 탐지, 심카빙 탐지, 이미지 무결성 탐지 등 다양한 포렌식 문제의 성능 향상을 가져올 수 있다는 것을 보였다.
