With the development of display technology and computer graphics technology, various types of digital contents as well as 2D images and video have appeared. As a result, while the utilization of other types of content other than 2D image and video content has been low for a long time, new types of content such as 3D stereoscopic content and 3D model data have become highly utilized.
Especially, as the range of usage of contents becomes wider and its influence becomes larger the importance of contents protection has been raised. Even though forensic techniques to protect digital content have been studied over the past decade, most have been studied exclusively in 2D video and video content. Also, the underlying technology has been limited to signal processing and image processing technologies. However,it is difficult to apply forensic technology based on 2D image and video contents directly to 3D stereoscopic contents or 3D model data due to differences in content characteristics. In order to develop forensic technology to protect specific contents, adaptive research on the contents is required, and a sufficient level of performance can be expected by including such a process. In addition, besides signal processing and image processing technology as base technology, it is possible to develop forensic technology with higher performance and adaptability by applying artificial intelligence technology, which has recently been appreciated.
In dissertation, an active forensic technique for protection of 3D model data, a passive forensic technique for protection of 3D stereoscopic image, and a passive forensic technique based on artificial intelligence for 2D image protection are proposed. As an active forensic technology for protecting 3D model data, we propose watermarking technology robust against cropping attack of 3D model data. We also propose a 3D stereoscopic image adaptive resampling detection technique for detecting manipulation of 3D stereoscopic images. Finally, we propose a deep learning based detection technique to detect camera recapturing process and composite manipulation of 2D images.
More specifically, the dissertation first introduces a 3D mesh watermarking technique robust to cropping attack through local shape-based synchronization. The proposed local shape-based synchronization technique is robust not only against to cropping attack but also against similarity attack and distortion attack because it uses shape of model rather than surface of model. In watermark embedding process, the distortion caused by watermark embedding is minimized by spreading using segmented bin of mesh. In addition, the proposed scheme has a higher level of security than the existing scheme. Experiments show that the proposed technique has high invisibility and high robustness against general signal processing attack and strong cropping attack.
Second, this dissertation proposes a resampling detection method for stereoscopic images. Although previous resampling technique can be applied to stereoscopic images, performance improvement is hard to be expected with the two separated results. In this research, we found a strong relationship between the left and right images derived from the characteristics of the stereoscopic images. The proposed technique exploits that relationship of the stereoscopic images as additional information for reliable detection performance. Furthermore, the proposed method includes a preprocessing step to acquire the independent performance from the image's own characteristics. The experimental results exhibi superior performance compared with the existing works.
Finally, dissertation proposes a re-capturing detection technique and composite manipulation detection technique based on deep learning. Conventional forensic techniques have used human-designed features to detect fingerprints for manipulation. On the other hand, deep learning technology automatically learns the feature points of an image. Also because the forensic problem eventually results in classification problems, it is suitable for applying the deep learning technique.
Especially, when the deep learning technique is applied to the forensic problem, the adaptability of the technology is very high since a new type of manipulation can be responded through re-learning. In addition, when various manipulations are applied to an image at the same time, the manipulated images can be integrally learned and can be classified from a non-manipulated set. In this dissertation, we propose two techniques for detecting image recapturing and composite manipulation using convolutional neural network. Experimental results also demonstrate the high level of performance of those technologies.
오랜 기간동안의 디스플레이, 컴퓨터 그래픽스 기술의 발전으로 2차원 영상 및 동영상 외의 다양한 형태의 디지털 콘텐츠가 등장하게 되었다. 최근에는 가상현실(virtual reality), 증강현실(augmented reality) 및 3D 프린터 기술과 같은 기술들이 각광을 받으면서, 3D 스테레오스코픽 콘텐츠(3D stereoscopic content), 멀티뷰 콘텐츠(multi-view content) 및 3D 모델 데이터와 같은 2차원이 아닌 다차원 콘텐츠의 활용도가 크게 높아졌다.
이와 같은 콘텐츠의 활용 범위 및 영향력의 증대는 디지털 콘텐츠 보호의 필요성 향상에 상당한 영향을 주었다. 이에 따라 과거 10년이 넘는 기간동안 디지털 콘텐츠를 보호하기 위한 다양한 디지털 포렌식 기술이 연구되어왔으나, 대부분 2D 영상 및 동영상 콘텐츠에 국한 되어 연구되었을 뿐 아니라, 그 기반 기술도 신호 및 영상 처리 기술에 국한되어 왔다.하지만 2D 영상 및 동영상 콘텐츠를 기반으로 연구된 포렌식 기술은 콘텐츠 특성의 차이로 인해 3D, 스테레오스코픽 콘텐츠나 3D 모델 데이터 등에 바로 적용하기 어렵다. 특정 콘텐츠를 보호하기 위한 포렌식 기술의 개발을 위해서는 해당 콘텐츠에 대한 적응적 연구가 필요하며, 이와 같은 과정을 포함해야만 충분한 수준의 성능을 기대할 수 있다. 뿐만 아니라 기반 기술로써 신호 및 영상 처리 기술 외에도 최근 각광받고 있는 인공지능 기술을 적용한다면 보다 높은 성능 및 적응성을 가진 포렌식 기술을 개발 할 수 있다.
본 학위 논문에서는 3D 모델 데이터의 보호를 위한 능동형 포렌식 기술, 3D 스테레오스코픽 영상의 보호를 위한 수동형 포렌식 기술 및 2D 영상의 보호를 위한 인공지능 기반의 수동형 포렌식 기술을 제안한다. 3D 모델 데이터의 보호를 위한 능동형 포렌식 기술로써는 3D 모델 데이터의 절삭 공격(cropping attack)에 강인한 워터마킹 기술을 제안한다. 그리고 3D 스테레오스코픽 영상의 조작을 탐지하기 위한 3D 스테레오스코픽 영상 적응형 재표본화(resampling) 탐지 기술을 제안한다. 마지막으로 2D 영상의 재촬영 탐지 및 복합 조작을 탐지하기 위한 두 종류의 딥 러닝(deep learning) 기반의 탐지 기술을 제안한다.
보다 자세하게는, 첫째로 본 학위논문에서는 국부 형태 기반 동기화(local shape-based synchronization)을 통한 절삭에 강인한 3D 메쉬 워터마킹 기법을 제안한다. 제안하는 국부 형태 기반 동기화 기술은 모델 표면이 아닌 모델의 형태를 이용하기 때문에 절삭 공격 외에도 비변형 공격(similarity attack)과 변형 공격(distortion attack)에 강인하다. 워터마크 삽입 과정에서는 분할 빈(segmented bin)을 이용한 스프레딩 기법을 통한 워터마크 삽입에 의한 왜곡을 최소화 한다. 뿐만 아니라 제안하는 기법은 기존 기법에 비해 높은 수준의 보안성을 갖는다. 실험을 통해서 제안하는 기법이 높은 비가시성을 갖음과 동시에 일반적인 신호처리 공격 및 강한 절삭 공격에 대해 높은 강인성을 갖는 것을 증명한다.
둘째로 본 학위논문에서는 3D 스테레오스코픽 영상에 대한 재표본화 탐지 기법을 제안한다. 비록 기존의 재표본화 탐지 기술이 3D 스테레오스코픽 영상에 대한 재표본화 탐지 기법을 제안한다. 비록 기존의 재표본화 탐지 기술이 3D 스테레오스코픽 영상에 적용될 수 있지만, 좌, 우 영상에 대한 독립적인 두 결과를 이용해 성능향상을 기대하기는 어렵다. 이와 같은 한계를 극복하기 위해, 이 연구에서는 3D 스테레오스코픽 영상의 특성으로부터 좌영상과 우영상 간의 높은 관계성을 분석해낸다. 그리고 높은 재표본화 탐지 성능을 위해 재표본화 탐지 과정에서 이와 같은 두 영상 간의 관계성을 부가 정보로써 이용한다. 뿐만 아니라 제안하는 비법은 이미지 자체의 특성과의 독립성을 얻기 위해 전처리 기법을 적용한다. 실험 결과에서는 기존 기법들에 비해 향상된 성능을 증명한다.
마지막으로 본 학위논문에서는 딥러닝 기반의 재촬영 탐지 기술 및 복합 조작 탐지 기술을 제안한다. 기존 포렌식 기법은 사람이 설계한 특징점을 이용한 이미지의 재촬영 및 조작을 탐지했다. 하지만 최근 딥러닝 기술이 다양한 영역에서 우수한 성능을 보여주고 있으며, 재촬영 탐지 및 조작 탐지 문제도 결국 분류(classification) 문제로 귀결되기 때문에 딥 러닝 기법을 적용하기에 적합한다. 특히 딥 러닝 기술은 포렌식 문제에 적용할 경우 새로운 유형의 조작이 발생했을 경우 재학습을 통해 대응할 수 있기 때문에 기술의 적응성이 매우 높다. 뿐만 아니라 다양한 조작이 동시에 가해졌을 경우 이를 통합적으로 학습하고 분류해 낼 수 있다. 이에 따라 본 학위논문에서는 컨볼루션 신경망(convolutional neural network)를 이용한 영상 재촬영 탐지 기술과 복합 조작 탐지의 두 가지 기술을 제안한다. 또한 실험 결과를 통해 이 기술들의 높은 수준의 성능을 증명한다.
