With the development in media sharing platform and mobile device equipped with a camera, the era has come in which media such as image and video can be easily generated via smartphone and shared through social network services and mobile messengers. However, these media-related advances have benefited the lives of modern people and, at the same time, caused various security problems for media contents. In particular, copyright problem about media ownership, which is caused by illegal redistribution, and social problem due to content modified through editing tools such as Photoshop are frequently issued. To deal with these issues, research on multimedia security has been conducted, and multimedia security is generally categorized into the following two items: digital watermarking and multimedia forensics. Digital watermarking is an approach to protect copyrighted works, which covertly inserts noise-like watermark for copyright ownership into a media, and multimedia forensics aims at authenticating integrity of various types of media including images and videos by detecting artifacts caused by manipulations. In this dissertation, four novel approaches to multimedia security for various types of media are proposed: two for digital watermarking and two for multimedia forensics. With regard to digital watermarking, we first propose non-subsampled contourlet transform (NSCT)-based robust and perceptual watermarking for depth-image-based rendering (DIBR) 3D Images. Through extensive experiments, our watermarking framework showed stable and high watermark extraction performance against DIBR attacks, signal processing operations, and geometric distortions, while maintaining high imperceptibility. In addition, to evaluate the robustness of existing conventional multi-bit watermarking methods for 2D images and DIBR 3D images, we introduce convolutional neural network (CNN)-based watermarking attack network (WAN). The proposed WAN can learns the weak points of the targeted watermarking approach and attacks watermarked images to mislead the watermarking extractor with minimal visual degradation. With regard to multimedia forensics, we first propose a CNN-based approach to classify artifacts caused by seam carving-based image retargeting for both reduction and expansion. After that, two-stream network for capturing low-level forensic artifacts of I-frame and P-frame in double-compressed H.264 videos is proposed. Compared to comparative methods, our forensics approaches shows the state-of-the-art performance in terms of manipulation classification.
미디어 공유 플랫폼 및 카메라가 탑재된 모바일 장치의 발전과 함께, 이미지 및 비디오와 같은 미디어가 스마트폰을 통해 쉽게 생성되고 소셜 네트워크 서비스 및 모바일 메신저를 통해 활발하게 공유되는 시대가 도래하게 되었다. 이러한 미디어와 관련된 발전은 현대인들의 삶에 이로움을 주었지만, 이와 동시에 미디어 콘텐츠에 대한 다양한 보안 문제를 야기시켰다. 특히, 근래에는 불법 재배포로 야기되는 미디어 소유권에 대한 저작권 문제와 포토샵과 같은 편집 툴을 통해 변형된 콘텐츠로 인한 사회문제가 빈번하게 발생하고 있다. 이러한 문제들에 대응하기 위해, 멀티미디어 보안에 대한 연구가 꾸준히 제안되었으며, 이러한 멀티미디어 보안 분야는 일반적으로 디지털 워터마킹과 멀티미디어 포렌식으로 범주화된다. 디지털 워터마킹은 저작권에 대한 정보를 포함하고 있는 워터마크를 미디어에 비가시적으로 삽입함으로써 저작물을 보호하는 접근법이며, 멀티미디어 포렌식은 조작으로 인해 발생되는 미세한 흔적을 탐지하여 이미지와 비디오를 포함하는 다종 미디어의 무결성을 검증하는 것을 목표로 하는 접근법이다. 본 논문에서는, 다종 미디어를 위한 디지털 워터마킹 및 멀티미디어 포렌식과 관련된 멀티미디어 보안에 대한 연구가 제안된다. 디지털 워터마킹과 관련하여, 먼저 DIBR 3D 이미지를 위한 NSCT 도메인 기반의 강인성 및 비가시성이 향상된 블라인드 워터마킹 기법이 제안되며, 해당 기법은 향상된 시각적 품질을 유지하면서 DIBR 과정으로 인해 야기되는 비동기화 공격, 신호처리 공격, 기하학적 공격에 대해 안정되고 높은 수준의 워터마크 추출 성능을 보였다. 다음으로, 기존에 존재하는 2D 이미지와 DIBR 3D 이미지를 위한 전통적인 유형의 멀티비트 워터마킹의 강인성을 효과적으로 평가하기 위해, 합성곱 신경망 기반의 워터마킹 공격 네트워크가 본 논문에서 제안된다. 제안하는 워터마킹 공격 네트워크는 대상으로 삼은 워터마킹 기법의 취약점을 학습하여, 시각적인 훼손을 최소화하면서 삽입된 비트를 역으로 추출되도록 유도하는 공격을 수행한다. 멀티미디어 포렌식에 관련해서는, 먼저 심 카빙 기반의 이미지 리타게팅으로 인해 발생하는 흔적을 구별하는 합성곱 신경망 기반의 접근법이 본 논문에서 제안된다. 끝으로, H.264 코덱의 재압축으로 인해 I-프레임과 P-프레임에 발생하는 저수준 포렌식 흔적을 포착하는 합성곱 신경망 기반의 접근법이 제안된다. 본 논문에서 제안되는 멀티미디어 포렌식 기법들은 최신의 비교기법 대비 향상된 정확도로 변형을 탐지하는 것이 가능하다.
