With highly sophisticated digital imaging technology, the acquisition and utilization of high-quality digital image contents are common in our life. The benefits of digital image contents, such as the ease of editing, sharing, and storing, have led people to use digital image contents more common. Furthermore, analog image contents are replaced by digital image contents in many areas such as journalism, court, medical science, contest, and so on. Digital image contents come into wide use due to their great benefits, however, increase in digital image contents use brought many misuses. The most critical abuse is forgery on the fact captured in the digital image contents. Since digital image contents inherits the very nature of digital data, which is ease of manipulation, the authenticity of digital image contents is questioned. Furthermore, the appearance of the digital contents editing tools, such as Photoshop, Illustrator, Movie maker, and Premiere, makes ordinary people possible to forge the digital contents without any professional knowledge. It can help to create fake transcripts, counterfeits, fake certifications, and other forged digital images and videos. These days, various forged image contents spread out and used to get a job, earn money, and gain social promotion in society. To authenticate the integrity of digital image contents, various passive multimedia forensics techniques were investigated for last few decades. However, only little attention was focused on advancing the techniques to detect various video tampering attacks. Therefore, this dissertation proposes forensics techniques as countermeasures for the protection of digital video contents.
First, the dissertation presents a forensic technique that detects the frame-rate converted video. Video frame rate conversion is one of the common temporal operations in video tampering. When multiple original video clips are used to create a forged video, each original video clip is often acquired at different frame rate. Therefore, the frame rate of each original video clip needs to be united to create a combined video clip. Furthermore, the frame rate conversion technique can be used to convert the video playback speed while the frame rate is conserved. It desynchronizes the video watermark that utilizes the temporal information. Up to now, to the best our knowledge, only a few work for the detection of the frame rate conversion have been presented. The conventional temporal interpolation methods uses only pixel information between consecutive frames to create interpolated frames. Also, advanced temporal interpolation methods uses pixel information and motion information between consecutive frames to create interpolated frames. These methods leaves periodic artifact on motion vectors in the frame-rate converted video. Therefore, we exploited the periodic properties of temporal interpolation by the second-derivative of the position in the frame-rate converted video. The motion vectors between consecutive frames were estimated and validated to analyze the periodicity accurately. Furthermore, the original frame-rate was also estimated. Empirical evidence from a large database of frame-rate converted videos, which were converted using nearest neighbor method, bilinear method, and motion-based method, indicates the superior performance of the proposed method.
Second, the dissertation presents a forensic technique that detects the recaptured video based on sensor pattern noise (SPN). With the advances in digital camcorders, video recapturing is becoming a significant problem. The most significant problem of pirated movies recaptured by camcorders is that the illegal copies appear on the Internet just a few hours after a film's release and before the legal DVDs become available. Only one camcorder is needed to copy a movie and to trigger massive unauthorized reproductions and distribution of millions of illegal copies of the movie. The annual amount of revenue loss caused by these illegal copies has reached US$ 6.1 billion, and approximately 90% of these illegal copies are pirated via video recapturing. Nevertheless, little research on recaptured video detection has been undertaken. Therefore, we propose an automated method for the detection of recaptured videos. For this purpose, the recapturing process was modeled and the differences between the production processes of the original videos and recaptured videos are analyzed. From the analyzed differences, SPN and shot-based detection method was proposed. Moreover, the SPN merging and high frequency map are derived in order to overcome the low quality of the shot-based SPN. Empirical evidence from a large database of test video, including compressed (Q60~Q100), scaled (0.6~1.0), and cropped video (1.0~0.6) videos, indicated that superior performance of the proposed method.
고도의 디지털 영상관련 기술의 발전으로 인해서 우리의 일상에서도 손쉽게 고화질의 디지털 영상 콘텐츠를 생성할 수 있다. 손쉬운 편집, 저장, 공유와 같은 디지털 영상 콘텐츠의 장점은 더욱더 다양한 분야에서의 활용을 가속화시켰다. 더욱이, 저널리즘, 의료, 학계, 법정, 정치와 같은 다양한 분야에서 기존 아날로그 영상 기기 및 콘텐츠들이 디지털 기기와 콘텐츠로 교체 및 보급화되었다. 디지털 영상 콘텐츠의 활발한 활용은 많은 장점에도 비하고 다양한 부작용 및 악용 사례를 낳았다. 그 중 가장 큰 문제는 바로 디지털 영상 콘텐츠에 일어나는 조작 문제이다. 디지털 영상 콘텐츠는 쉬운 조작과 같은 디지털 데이터의 성격을 고스란히 이어받기 때문에 무결성 여부가 점차 중요화되고 있다. 또한 Photoshop, Illustrator, Movie maker, Premiere와 같은 다양한 디지털 영상 콘텐츠 편집 툴의 등장으로 인해서 영상 콘텐츠에 대한 전문 지식이 없는 일반인들도 굉장히 손쉽게 편집 및 조작이 가능해졌다. 이러한 현상으로 인해 위조지폐, 가짜 학위 증명서와 같은 문제점들이 나타나기 시작했으며, 다양한 분야에서 조작된 영상 및 동영상이 나타나기 시작하였다. 디지털 영상 콘텐츠의 무결성을 보호하기 위한 방법으로 수동적 기법인 멀티미디어 포렌식 기법이 최근 10년가량 활발히 연구되어 왔다. 이로 인해서 디지털 영상에 대한 조작 탐지 기법은 꾸준히 발전하고 있으나, 그에 반해 디지털 동영상의 조작 탐지에 관해서는 상당히 적은 발전과 관심이 존재하였다. 따라서 본 학위 논문에서는 동영상을 보호할 수단으로써의 멀티미디어 포렌식 기법을 제안한다.
먼저, 동영상의 프레임률 변환 기법에 대한 탐지 기술을 제안한다. 동영상의 프레임률 변환 기술은 동영상의 시간축에서 이뤄질 수 있는 가장 흔한 기법 중의 하나이다. 또한 프레임률 변환뿐만 아니라 동영상의 재생속도 변환에도 동일하게 사용될 수 있는 기술이다. 이를 이용하여 서로 다른 프레임률을 이용하여 촬영된 동영상들을 하나로 합쳐서 제작하는데 사용할 수 있으며, CCTV 및 차량 블랙박스 동영상의 재생속도 변화를 통해서 물체의 이동속도에 혼란을 주기 위하여 사용 될 수도 있다. 더욱이, 시간축 정보의 비동기화를 통하여 동영상 워터마킹 기법을 무력화시키는 공격 기법의 한가지로 사용되기도 한다. 이러한 프레임률 변환 기술은 크게 nearest neighbor, bilinear, 모션기반의 시간축 보간 기법을 이용하여 이뤄진다. 위 세 가지의 시간축 보간 기법들은 이전 프레임과 이후 프레임 사이의 픽셀들의 위치 이동으로 모델링할 수 있다. 이 모델을 통하여 프레임률 변환에 사용되는 모든 시간축 보간 기법들은 픽셀위치의 분산이 시간축에 따라서 주기적인 특징을 보인다는 것을 분석하였다. 이 분석을 통하여 프레임률 변환 기법을 탐지하기 위해 픽셀 위치의 이동량을 파악하기 위한 모션 기법의 탐지 기법을 제안하였다. 제안하는 기법은 크게 세 가지의 순서로 분류된다. 첫째로 주어진 의심되는 동영상의 모션 벡터를 optical flow를 이용하여 구한다. 이후, 주기성을 확인하는데 있어서 방해요소가 되는 잘못된 모션 벡터 및 배경에 대한 모션 벡터를 찾아서 Trajectory map (TM)을 구성한다. 이후, TM을 이용하여 시간축에 따른 모션의 특성을 측정하고, 이것을 기반으로 주파수 도메인에서 주기성을 확인한다. 제안하는 기법의 우수성을 검증하기 위하여 다양한 실험 데이터와 다양한 실험환경을 구성하여 제안하는 기법 및 기존 기법들에 대한 실험을 진행하였다. 실험 결과 기존 기법들은 특정 시간축 보간 기법에 한정적이거나 프레임률 변환에 있어서 상승변환에만 강인한 특성을 보였다. 하지만 제안하는 기법은 세가지 시간축 보간 기법에 동작함을 확인하였으며, 프레임률 상승 및 하강 변환에도 강인함을 확인하였다. 다만, bilinear 시간축 보간 기법에 대해서는 불안정한 모션 탐지로 인하여 탐지율이 감소하는 것을 확인하였다. 향후 모션 추정을 보완하는 기법을 추가하여 부족한 성능을 보완할 수 있을 것으로 생각된다.
마지막으로 재촬영된 동영상에 대한 탐지 기술을 제안한다. 디지털 영상 촬영 장치의 발전으로 인하여 디지털 캠코더를 통한 고화질의 촬영이 가능해졌다. 이외에도 손쉬운 촬영, 가벼운 무게, 작은 크기, 낮은 가격과 같은 디지털 캠코더의 장점은 대중화를 이끌었다. 하지만, 디지털 캠코더 사용량의 증가는 다양한 오용을 낳았으며 그 중 가장 큰 문제중의 하나는 바로 ‘camcorder theft’라고 불리는 영화관에서의 재촬영이다. 디지털 캠코더를 통한 재촬영의 가장 큰 문제점은 영화의 개봉 직후부터 DVD의 판매 전에 나타나 큰 경제적 피해를 일으킨다는 것이다. Motion Picture Association of America (MPAA)에서 발표한 바에 따르면 매해 약 60억 달러에 달하는 피해가 불법 영화를 통해서 발생하며 그 중에서 약 90% 이상이 재촬영 동영상에 의한 것이다. 따라서 이러한 피해를 막기 위한 기법으로 본 학위 논문에서는 샷 기반의 센서 패턴 노이즈 (SPN)을 이용한 탐지 기법을 제안한다. 제안하는 기법은 크게 세 단계로 나뉜다. 먼저 주어진 의심되는 동영상을 샷을 구분한다. 이후 샷으로부터 SPN을 추정하고, 마지막 단계로써 상관관계를 이용한 SPN 병합기법을 이용하여 재촬영 동영상 여부를 확인한다. 샷 기반의 SPN을 활용하기 위해서는 샷 기반의 SPN이 가진 낮은 퀄리티를 극복할 방법이 필요하다. 제안하는 기법에서는 위 문제를 해결하기 위하여 MACE 필터, high-frequency map (HFM) 및 SPN 병합을 활용하였다. MACE 필터를 이용하여 압축에 의해서 공통적으로 발생하는 주기적인 노이즈를 최소화 시킬 수 있으며, HFM을 통하여 각 샷의 콘텐츠에 의한 노이즈를 최소화시킨다. 또한 SPN 병합을 통하여 샷 기반의 SPN의 퀄리티를 높이고자 하였다. 위 세가지 기법을 이용한 상관관계를 이용한 SPN 병합기법은 아래와 같이 구성된다. 먼저 각 샷 기반의 SPN으로부터 HFM을 추정하고, HFM을 통하여 고주파수 성분을 제거한다. 이후 MACE 필터를 이용하여 HFM이 적용된 샷 기반의 SPN의 상관관계를 계산한다. 상관관계의 계산 결과 상관도를 확인하면, 두 샷 기반의 SPN을 HFM을 이용하여 병합한다. 이러한 과정을 상관관계가 전혀 나타나지 않거나 최종적으로 하나의 병합된 SPN이 될 때까지 진행한다. 하나의 병합된 SPN이 나타났을 경우에 재촬영된 동영상으로 판단한다. 제안하는 기법의 우수성을 확인하기 위하여 재촬영 영상 탐지 기법과 다양한 재촬영 동영상 탐지 기법을 다양한 실험 환경에서 다수의 실험 데이터를 통하여 비교하였다. 비교 결과, 제안하는 기법이 오탐지율이 최소로 유지하며 가장 탐지율을 높게 나타내는 것을 확인하였다.