With the development of highly sophisticated forms of information technology, digital images are commonly used in our life. The benefits of digital images, such as the ease with which they can be edited, shared, and stored, have led people to use digital images in place of analog images. At the same time, the very nature of digital images, which can be easily manipulated or distributed, brings into question many of the positive aspects associated with these types of images. Furthermore, easy-to-use imaging devices accelerate the acquisition of high-quality fake documents such as counterfeited currency, gift vouchers, and so on by scanning and printing process. Therefore, this dissertation proposes forensics techniques as countermeasures to solve various global, local, and offline forgeries.
At first, the dissertation presents a forensic technique that estimates the linear transformation of an investigated image. The linear transformation, such as rotation, scaling, or any combinations of geometric attacks, is among the most common forms of global image manipulation. We exploited the periodic properties of interpolation by the second-derivative of the transformed image in both the row and column directions. Both the magnitude and phase information of the derived signals were analyzed to estimate the transformation matrix accurately. Empirical evidence from a large database of manipulated images indicates the superior performance of the proposed method. Subsequently, we propose a reinforcement scheme to complement conventional image watermarking system by analyzing the periodicity of interpolation. Digital watermarking is one of the most fundamental techniques to protect copyright of digital images. However, it is rarely possible to develop a watermark system robust to all kinds of attacks. Instead, lots of watermarking systems are still weak against even simple linear transformation. Therefore, in this dissertation, we propose an enhancing method to detect the inserted watermark regardless of watermarking systems even though the image is manipulated by the complex linear transformation. In other words, by shifting the paradigm of the traditional robust watermarking system, we first estimate the original image of the suspected image by analyzing the trace of the interpolation and then the watermark signal is extracted from the estimated image. Since the proposed method can be applied to any watermarking systems, the weakness of existing watermarking systems is able to be enhanced.
Afterwards, the dissertation presents forensic techniques to detect local manipulations. More specifically, a forensic technique to localize duplicated image regions based on Zernike moments of small image blocks is proposed. We exploit rotation invariance properties to reliably unveil duplicated regions after arbitrary rotations. We devise a novel block matching procedure based on locality sensitive hashing and reduce false positives by examining the moments’ phase. A massive experimental test setup benchmarks our algorithm against state-of-the-art methods under various perspectives, examining both pixel-level localization and image-level detection performance. By taking signal characteristics into account and distinguishing between ‘textured’ and ‘smooth’ duplicated regions, we find that the proposed method outperforms prior art in particular when duplicated regions are smooth. Experiments indicate high robustness against JPEG compression, blurring, additive white Gaussian noise, and moderate scaling. Furthermore, the dissertation proposes a novel forensic technique to localize the trace of seam carving, which preserves semantically important image content during resizing process. We exploit the energy bias of images under analysis to reliably unveil the evidence of seam carving. At the same time, we design a detector investigating the relationship among neighboring pixels to estimate the inserted seams. Empirical evidence from a large set of test images indicates the superior performance of the proposed technique for both seam carving and seam insertion.
Finally, the dissertation proposes a forensics scheme for fraudulent offline content, e.g., banknote and securities, made by modern scanning and printing devices, and consequently aims to estimate printing source of the content. The fraud document is indistinguishable by the naked eye from a genuine document because of the technological advances in printing methods. Even though we cannot find any visual evidence of forgery, the fraud document includes inherent device features. We propose a method to uncover these features. 17 image quality measures are applied to discriminate between genuine and fake documents. The results of each measure are used as training and testing parameters of SVM classifier to determine fake documents. Preliminary experimental results are presented based on the fraud gift voucher made by several color printers. Moreover, estimating printing source is applicable in many forensic situations related to offline content. In this perspective, we propose an electrophotographic printer identification scheme from its printed material, in which imperceptible halftone patterns are contained inherently. The halftone textures in each channel of CMYK domain are analyzed. We construct a histogram from angle values of linear features extracted by Hough transform. By averaging the histograms from multiple images, a printer’s reference pattern is identified. The source printer is determined by a maximum correlation value between the reference patterns and the histogram of given image. Experiments are performed on 9,000 images made by nine printers. The result supports that the presented scheme clearly recognizes different halftone textures.
IT 기술의 발전은 영상 관련 장치와 소프트웨어의 대중화를 이끌었고, 그 결과로 디지털 영상은 일상생활에서 보편적으로 사용되고 있다. 그러나 그 이면에는 포토샵, 프리미어와 같은 영상 편집 소프트웨어를 이용한 영상의 손쉬운 위변조 또는 복사 및 배포가 용이한 디지털 영상의 특성을 악용한 불법적인 콘텐츠의 유통과 같은 부작용 역시 기하급수적으로 증가하고 있다. 더 나아가 저렴한 카메라와 스캐너조차도 과거에는 상상하기 힘들었던 성능을 보여줌에 따라, 이를 이용한 유가증권, 화폐와 같은 오프라인 콘텐츠에 대한 위변조 또한 증가하는 추세이다. 본 논문에서는 이상과 같은 다양한 위변조 상황을 아울러, 영상에 가해진 전체, 국부 및 오프라인 변형을 탐지할 수 있는 기술을 제안한다.
먼저, 영상에 가해질 수 있는 대표적인 전체 변형인 선형변환을 탐지하는 기술을 제안한다. 회전, 확대 등으로 대표되는 선형 변환은 영상에 가장 자주 일어나는 변형 중 하나이다. 이를 탐지하기 위해 선형 변환이 가해진 영상의 행과 열 방향의 주기성과, 이때 그 크기와 위상값 모두를 분석하여 해당 변환을 탐지한다. 다양한 변환이 가해진 영상들로 이루어진 대규모 실험은 제안하는 방법의 우수성을 보인다. 이러한 선형 변환 탐지 기술을 응용하여 삽입된 워터마크 추출 성능을 향상시키는 기술 역시 제안한다. 디지털 워터마크란 영상 자체에 눈에 보이지 않는 저작권 신호를 삽입함으로써, 목표 영상의 저작권을 보호하는 기술이다. 그러나 다수의 디지털 워터마크는 동기화의 문제에 취약한 단점을 지닌다. 이러한 시점에서, 본 연구는 동기화에 불변한 워터마크를 설계하는 기존의 패러다임에서 벗어나는 기술을 개발하였다. 즉, 영상에 가해진 선형 변형을 추정하고, 추정된 변형만큼 워터마크가 삽입된 영상을 역변환 시킨이후 워터마크를 판별함으로써 동기화의 문제를 근본적으로 없애는 것이다. 본 기술은 삽입한 워터마크의 종류와 상관없이 범용적으로 사용될 수 있기에, 저작권 보호에 있어 디지털 워터마크의 한계점을 한 단계 극복한 기술이라 볼 수 있다.
다음으로, 영상에 가해질 수 있는 국부 변형을 탐지하는 기술을 제안한다. 먼저 Zernike 모멘트의 값을 이용해, 영상의 일부가 동일한 영상에 복사-붙여넣기 된 영역을 찾아낸다. 제안하는 방법은 Zernike 모멘트의 회전 불변성을 이용하여 복사된 영역이 회전된 이후 붙여지더라도 그 위치를 정확히 찾아냄을 보인다. 추가적으로 Locality Sensitive Hashing 에 기반한 블록 매칭 기법으로 오분류율을 크게 줄인다. 대규모 실험을 통해 제안하는 방법이 pixel-level/image-level, 거친 영역/부드러운 영역, 다양한 의도적 공격들 모두에서 최근에 제안된 타 방법들보다 우수함을 보인다. 복사-붙여넣기 공격 외에, 영상의 중요하지 않은 부분을 삭제 또는 늘림으로써 영상의 크기를 적응적으로 변화시키는 Seam-Carving 기법이 가해진 영상을 찾아내는 방법 또한 제안한다. 이를 탐지하기 위해 본 논문에서는 영상의 에너지 변화를 다양한 측정 도구를 이용하여 관찰한다. 뿐만 아니라, 주변 픽셀과의 관계를 분석함으로써 Seam-Insertion 여부를 판별하는 기술 역시 제안한다. 실험을 통해 제안하는 방법이 기존의 탐지기들 보다 우수함을 보인다.
마지막으로 화폐, 유가증권과 같은 오프라인 콘텐츠에 대한 위변조를 탐지하고, 이때 위변조에 사용된 기기를 판별 할 수 있는 기술을 제안한다. 고해상도 스캐너와 컬러 프린터를 이용한 보안제품의 위변조는 오프라인 콘텐츠에 대한 대표적인 위법 사례로 볼 수 있다. 실제로 전문가가 아닌 일반인이 컴퓨터를 이용하여 만든 위폐를 유통시키다 적발되는 경우가 신문지 등을 통해 심심찮게 보도되곤 한다. 이외에도 상품권, 티켓, 우표, 신분증 등의 수많은 보안제품의 위변조본이 대중화된 디지털 인쇄기기를 이용하여 만들어진다. 그러므로 본 논문에서는 원본 오프라인 콘텐츠와 프린터를 이용하여 만들어진 위조본을 판별할 수 있는 17개의 영상 측정 도구를 제안한다. 스캔 된 오프라인 콘텐츠로부터 특징점을 추출하고, 이를 이용하여 학습된 SVM 분류기를 이용하여 최종적으로 주어진 콘텐츠의 진위 여부를 판별한다. 실험을 통해 제안하는 방법은 대상의 위변조 여부를 판별함에 있어서 탁월한 성능을 보임을 확인 할 수 있었다. 주어진 오프라인 콘텐츠에 대한 위변조를 탐지하는 기술에서 더 나아가, 본 논문에서는 이때 사용된 레이저 프린터를 판별하는 기술 역시 제안한다. 이를 위해 스캔된 영상의 CMYK 각 채널에서 망점구조를 분석하고, Hough 변환을 적용하여 레이저프린터 고유의 지문을 추출한다. 타겟 영상에서 추출된 특징점과 프린터의 특징점 사이의 상관 관계를 구함으로써 타겟 영상을 생성하는데 쓰인 프린터를 추정한다. 마찬가지로 실험을 통해 제안하는 방법의 우수성을 확인한다.
