Due to remarkable advances in network and display technologies, traditional digital multimedia content that was confined to audio, two-dimensional (2D) images and videos has evolved in various ways. Traditional one-directional content is changed to bi-directional content which encourages the participation of viewers because of the development of smart television and interactive content. Also, one-source, multi-use (OSMU) content, which can be adapted in various platforms and resolutions without any post-processing, comes into the spotlight due to the expansion of cloud computing and N-screen environments. Further, Stereoscopic content or three-dimensional (3D) content has been around since the 1950s, but the market rapidly increased and content poured out at a tremendous rate after the hugely successful movie “Avatar” in the second half of 2009. The evolution of multimedia content is rapidly progressing to the next-generation, as mentioned above. However, the copyright protection techniques for next-generation content are not yet adequate. There is no reported copyright infringement case of next-generation content yet. However, the amount of damage is increased exponentially like the “broken window” effect if the copyright infringement of these next-generation contents occurs.
This thesis introduces the active and passive forensic methods to protect the next-generation content. The proposed active forensic method is a stereoscopic video watermarking scheme for protection of DIBR (depth-image-based rendering)-formatted content. The proposed passive forensic method is a screenshot identification scheme due to almost all OSMU content or stereoscopic content is illegally leaked through Internet with their screenshots.
The proposed stereoscopic video watermarking scheme suitable for DIBR-formatted content is the technique that the inserted copyright information can be detectable after 2D-3D conversion by exploiting the trait of DIBR. DIBR system renders left and right views directly on receiver side by using a monoscopic center view and an associated per-pixel depth map. Due to this characteristic of DIBR, viewers can watch more immersive stereoscopic view. However, the inserted copyright information should be alive in 2D-3D converted right and left views for copyright protection. Also, the watermark signal should be generated and inserted considering the human factor problem which is one of the most critical issues for stereoscopic content. The robustness of watermark scheme is a basic requirement. The proposed scheme resolves three technical requirements mentioned above by using three techniques: horizontal noise mean shifting, perceptual masking, and self-synchronizing signal. Extensive experiments prove that the proposed scheme solves effectively the three requirements.
The proposed screenshot identification scheme is the technique for identifying screenshot images by using the statistical characteristics of given images. Since most television systems and camcorders use interlaced scanning, many screenshots are taken from interlaced video. Thus, we propose a screenshot identification scheme using the trace of screen capture, combing artifacts. We propose two screenshot identification schemes. First scheme uses the support vector machine (SVM), and second scheme calculates the ratio of horizontal and vertical noise by using the gray level co-occurrence matrix (GLCM). The results of two schemes prove that the proposed identification schemes are stable and perform well./
네트워크 기술과 디스플레이 기술의 발달로 인해 음성 및 2차원 영상, 동영상에 국한되어 있던 기존 디지털 멀티미디어 콘텐츠가 다양한 방식으로 진화하고 있다. 이전의 단방향적인 정보 제공에 머물렀던 콘텐츠들이 스마트 TV와 같은 인터렉티브 콘텐츠(interactive content) 및 장비의 개발로 양방향성을 갖게 되면서 시청자들의 참여를 유도하고 있고 클라우드 컴퓨팅(cloud computing) 및 N-Screen의 확대로 인해 OSMU 콘텐츠(one-source, multi-use content), 즉 하나의 콘텐츠 원본을 다양한 장비에서 시청할 수 있는 콘텐츠 양식이 주목을 받고 있다. 또한 스테레오스코픽 콘텐츠(stereoscopic content), 즉 3차원 입체 콘텐츠는 1950년대부터 개발이 되어왔지만 지난 2009년 하반기 영화 ‘아바타’의 흥행 이후 그 시장이 급속도로 커지며 콘텐츠 역시 엄청난 속도로 쏟아져 나오고 있다. 이렇듯 최근 차세대 비디오 콘텐츠의 보급률이 날이 갈수록 높아지고 또한 가정에서 쉽게 차세대 콘텐츠를 시청할 수 있는 환경임에도 불구하고 이에 대한 저작권 보호 기술은 거의 개발되지 않았다. 아직까지는 이런 차세대 콘텐츠에 대한 저작권 침해 사례가 보고되고 있지 않지만 한번 이 부분에 대한 침해가 발생하고 난 후에는 깨진 창문 효과를 일으키며 그 피해량이 기하급수적으로 커지게 된다.
본 학위 논문은 이와 같은 차세대 콘텐츠를 보호하기 위한 능동형 및 수동형 포렌식 기법에 대해 제안한다. 능동형 포렌식 기법으로는 스테레오스코픽 콘텐츠 중 특히 DIBR 형태로 배포되는 비디오 콘텐츠에 대한 보호를 위한 DIBR 콘텐츠에 적합한 스테레오스코픽 비디오 워터마킹 기법을 제안한다. 그리고 수동형 포렌식 기법으로는 OSMU 콘텐츠, 혹은 스테레오스코픽 콘텐츠의 유출 시 인터넷 상에서 스크린샷 정보를 이용하여 불법 배포가 이루어진다는 점에 착안하여 이를 사전에 막을 수 있는 스크린샷 인식 기법을 제안한다.
DIBR 콘텐츠에 적합한 스테레오스코픽 비디오 워터마킹 기법은 DIBR의 특성을 이용하여 삽입된 저작권 정보가 2차원-3차원 변환이 이루어진 후에도 검출이 가능하여 안정적으로 해당 콘텐츠를 보호할 수 있는 기술이다. DIBR 콘텐츠의 경우 일반적인 스테레오스코픽 콘텐츠와는 달리 중앙 영상과 깊이 영상으로 좌안 및 우안 영상을 생성하여 시청자에게 입체감을 주는 방식을 사용하는데 이런 특성 때문에 시청자는 자신이 원하는 만큼 실감적인 입체 영상을 제공받을 수 있지만 저작권 보호의 입장에서는 중앙영상에 삽입된 정보가 좌안 및 우안 영상으로 변경된 후에도 안정적으로 살아남아 해당 영상들을 보호해야 한다는 제약 조건이 생기게 된다. 또한 스테레오스코픽 영상 시청 시 가장 고려해야 할 사항인 휴먼 팩터(human factor) 부분을 고려하여 워터마크 신호를 삽입해야만 한다는 제약 조건 역시 갖게 된다. 이 외에도 워터마킹 기술의 기본인 강인성 역시 갖추어야 한다. 본 논문에서 제안된 방법은 앞서 말한 3가지 기술적 문제들을 각각 가로축 노이즈 평균 이동법, 인지시각 마스킹, 그리고 자기동기화 신호 기법을 이용하여 해결하고 있다. 본 학위 논문에 기술된 실험 결과는 제안된 방법이 각각의 기술적 문제들을 얼마나 효과적으로 해결하고 있는지를 보여준다.
스크린샷 인식 패시브 포렌식 기법은 임의의 영상을 입력으로 받았을 때 해당 영상의 통계적 특성을 파악하여 그 영상이 동영상으로부터 만들어진 스크린샷인지를 판단하는 기술이다. 이 때, 대부분의 TV 시스템과 캠코더 저장 방식이 비월주사 방식임을 감안하면, 많은 수의 스크린샷들이 비월주사 방식으로 녹화된 영상으로부터 획득된 영상임을 알 수 있다. 본 논문에서는 이 특성을 이용하여 비월주사 방식에서 나타나는 가장 대표적인 특징인 Combing artifacts를 임의의 영상에서 찾아내는 방법을 이용한 스크린샷 인식 기법을 제안한다. 제안하는 스크린샷 인식 기법은 크게 2가지인데 첫째는 SVM(support vector machine)의 학습 기능을 이용하여 스크린샷을 인식하는 기법이며, 둘째는 GLCM(gray level co-occurrence matrix)을 이용하여 가로 세로축 방향 잡음 비를 계산함으로써 스크린샷을 인식하는 기법이다. 이 두 기법에 대한 다양한 실험 결과는 제안된 기법이 여러 환경에서 안정적으로 스크린샷을 인식한다는 것을 증명한다.