In many court cases, surveillance videos are used as significant court evidence. As these surveillance videos can easily be forged, it may cause serious social issues, such as convicting an innocent person. Nevertheless, there have been little research on forgery of surveillance videos. In the dissertation, we present a forgery detector based on sensor pattern noise (SPN) that can detect two types of surveillance video forgery: upscale-crop forgery and partial manipulation. In order to detect forgeries of surveillance videos, first of all, the characteristics of the surveillance camera should be analyzed. Unlike general cameras, surveillance cameras can record not only RGB video but also infrared video. They can also take both static-scene videos from a fixed position and dynamic-scene videos when the camera is installed on a moving object. Furthermore, the recorded video is compressed by video codec such as H.264. Therefore, these characteristics of surveillance cameras should be considered for a forgery detector of surveillance video.
Until now, many upscale-crop forgery and partial manipulation detectors have been proposed. However, these forgery detectors have some drawbacks, such as low accuracy in static-scene and compressed video. To address the limitations in previous detectors, the dissertation proposes an improved forgery detector that considers the characteristics of a surveillance camera, such as the RGB/infrared mode, dynamic-/static-scene, and video compression.
Within this dissertation, four main contributions are discussed to solve the problems of surveillance camera forgery. To overcome the inherent constraints of surveillance cameras as stated above, SPN is used as a statistical tool. SPN is extractable from both RGB video and infrared video. Moreover, SPN survives lossy compression. Therefore, the proposed method is robust against the RGB/infrared mode and video compression. The second contribution lies in a novel upscale-crop forgery detector based on a MACE-MRH correlation filter. To detect upscale-crop forgery, two different MACE-MRH correlation filters are designed from a reference SPN. Third, we propose a partial manipulation detector to accurately detect partial manipulation in static-scene video by eliminating high frequency components and adaptively choosing the size of the local search window. Finally, the detection method to anti-forensic is proposed. The proposed method computes true correlation values and estimated correlation values. The distribution of these correlation values is analyzed and anti-forensic is detected.
Empirical evidence from a large database of test videos, including RGB (Red, Green, Blue)/infrared video, dynamic-/static-scene video and compressed video, indicates the superior performance of the proposed method.
디지털 이미지 장치 산업이 발달함에 따라, 우리 사회에서 디지털 감시 카메라 수요도 매우 증가하고 있다. 또한, 현재 많은 법정에서 감시 카메라 영상은 중요한 법정 증거 자료로 사용된다. 이와 같은 감시 카메라 영상은 프리미어(Premiere)와 같은 영상 편집 도구로 쉽게 조작될 수 있는데, 만약 조작된 영상이 법정 증거 자료로 사용된다면 범인이 오인될 정도로 큰 사회적 문제가 발생할 수 있다. 그러므로 감시 영상에서 조작 여부를 판단하는 기술 개발은 매우 중요하다.
감시 카메라로 촬영된 영상에서 높은 정확도로 조작 여부를 판단하기 위해서는 무엇보다도 감시 카메라 특성을 분석되어야 한다. 일반 카메라와 달리 감시 카메라는 RGB 영상뿐만 아니라 적외선 영상을 촬영할 수 있다. 또한, 감시 카메라는 고정된 위치에서 정적 장면 영상(static-scene video)을 자동차 블랙박스와 같이 움직이는 물체에서 동적 장면 영상(dynamic-scene video)을 촬영할 수 있다. 게다가, 감시 카메라 영상은 일반적으로 H.264와 같은 비디오 코덱으로 압축되어 배포된다. 그러므로 감시 카메라 영상 조작 검출 기술은 RGB/적외선 영상, 동적/정적 영상에서 높은 정확도로 조작을 탐지 할 수 있어야 하며 동영상 압축에도 강인해야 한다.
본 학위 논문에서는 비디오 코덱으로 압축된 RGB/적외선 영상에서 높은 정확도로 조작 여부를 판별하는 센서 패턴 노이즈 기반 감시 영상 조작 탐지 기법을 제안한다. 센서 패턴 노이즈는 RGB 영상뿐만 아니라 적외선 영상에서도 같은 형태로 존재하며, 동영상 압축에서도 살아 남는 특성이 있다. 그러므로 제안하는 기법은 RGB 영상과 적외선 영상에서 높은 정확도로 조작을 탐지할 수 있으며 동영상 압축에도 강인하다.
감시 카메라에서 주로 시도되는 조작은 크게 확대-부분추출 조작과 부분변형 조작으로 분류할 수 있다. 제안하는 기법은 참조 센서 패턴 노이즈로부터 두 가지 종류의 MACE-MRH correlation filter를 디자인하여 확대-부분추출 조작을 검출하며, 고주파 성분제거 필터와 적응적 검사 블록을 통하여 정적 영상에서 높은 정확도로 부분변형 조작 탐지한다. 또한, 추정상관관계 값을 계산하고 이들 분포를 조사하여 확대-부분추출 조작 및 부분변형 조작 탐지를 기만하는 안티포렌식 기술을 탐지한다.
