In the past decades, digital video contents has grown qualitatively and quantitatively based on the development of network technology and the spread of various display devices such as high-resolution digital TV, portable multimedia player, and high-performance cell phones. Unlike analog video contents, the digital video contents have advantages that they can be copied infinitely and quickly without large cost and be easily distributed through the network regardless of time and place. These advantages, however, cause infringement problem of copyright. In addition, cloud computing based contents environment aggravates the copyright problem because multimedia contents in the cloud environment can be more easily distributed and shared. These illegal acts cause great financial loss to contents providers and the market. Thus, countermeasures to solve the copyright protection problem are urgently needed. Also, digital video contents have visual quality degradation problem by packet loss because they are transmitted through error prone and unstable communication channel. Since a minor error in a frame or a block can be propagated into entire video contents, the error concealment is important.
This thesis introduces data hiding schemes for clean video contents. The clean video contents mean the contents without the copyright infringement and error prone problem. The proposed data hiding schemes are a robust watermarking scheme for copyright protection and a reversible data hiding scheme for error concealment.
First, we propose a high-definition video watermarking method robust against compound geometrical attacks by camcorder capture as well as common video processing such as frame-rate conversion and trans-coding. Unlike traditional watermarking systems using the original reference pattern, the proposed method exploits the reference pattern estimated from the watermarked video. Since the reference pattern and watermark pattern are embedded in the same spatial position of each frame, the two patterns estimated from the embedded video are always in spatial sync. Thus, the watermark information can be simply detected without an additional synchronizing step, even if geometrical distortions happen to the marked video. Also, the problem of misestimation of the reference pattern caused by temporal video clipping is solved using the proposed two-pass detector. Extensive experiments prove that the proposed method is robust against various temporal and spatial distortions.
Second, we propose a hybrid block error concealment method based on reversible data hiding for intra frames in H.264/AVC. Unlike a conventional reversible data hiding based error concealment (RDHEC) approach, which embeds the motion vector (MV) for error concealment (EC), the proposed method embeds the motion vector difference (MVD) in order to lower the bit-rate increment caused by the data hiding. The MVD is the difference between the real MV obtained by inner pixels of a macro block (MB) and the predicted MV obtained by neighboring pixels of the MB. Since the probability of the proposed MVD being close to zero is generally higher than that of the MV itself being close to zero, embedding the MVD makes it possible to lower the bit-rate increment caused by reversible data hiding in quantized discrete cosine transform domain. We also propose a hybrid EC method that selectively chooses either MVD embedding mode or MVD non-embedding mode after considering the distortion cost of each mode. The proposed hybrid EC method has better concealment performance in some detailed regions, and it helps to decrease the bit-rate increment rate. Extensive experiments prove that the proposed method has good performance with respect to the bit-rate increment and error concealment.
Additionally, we present invisible logo watermarking based on the visualization of spread spectrum self-synchronizing signal. Also, the video watermarking methods can be improved in respective of invisibility and detection-rate performance. The proposed composite mask is for invisibility improvement, and the proposed watermark estimation filter based on neighborhood filter is for detection-rate improvement.
네트워크 기술의 발전과 휴대폰, PMP, DTV와 같은 디스플레이 기기의 보급을 기반으로 최근 5년간 디지털 영상 및 동영상 콘텐츠의 양적 질적 성장이 폭발적으로 이루어 졌다. 디지털 영상의 경우 과거의 아날로그 영상에 비해 큰 비용 없이 빠르고 무한하게 동일한 영상물을 제작할 수 있으며 고속화된 네트워크 환경을 통해 시간과 공간에 구애 받지 않고 배포할 수 있다는 장점을 갖고 있지만, 이와 같은 디지털 콘텐츠의 장점은 불법 복제 및 배포로 인한 저작권 침해로 이어질 수 있다는 문제점을 갖는다. 이와 더불어 최근 클라우드 컴퓨팅(cloud computing) 기반의 콘텐츠 유통 환경이 조성됨에 따라 각 개인이 소장하고 있던 멀티미디어 콘텐츠 자료가 클라우드 공간으로 이동하여 하나의 거대한 네트워크 환경에서 자유롭게 송수신 되면서 저작권 침해 문제가 더욱 심각해 지고 있으며 이로 인한 피해 규모 또한 점차 커지고 있다. 따라서 이와 같은 환경에서의 디지털 영상 콘텐츠에 대한 저작권 보호를 위한 대책마련이 시급한 실정이다. 또한 클라우드 기반의 유,무선 네트워크 환경에서 송수신 되는 영상물의 경우 불안정한 통신 환경으로 인한 디지털 영상 콘텐츠의 손실이 빈번히 일어나게 된다. 디지털 동영상의 경우 네트워크 오류로 인한 패킷(packet) 손실은 영상의 특정 부분의 디코딩 (decoding)을 불가능하게 하고, 동영상 코덱(codec)의 특성상 영상 일부의 손실은 영상 전체로 전파될 수 있기 때문에 에러 손실 복원 기술 연구에 대한 필요성도 커지고 있다.
본 학위 논문은 클라우드 환경에서의 클린(clean) 동영상 콘텐츠를 위한 정보 은닉 기법들을 제안한다. 클린 동영상 콘텐츠란 저작권 침해 위협과 에러 손실로부터 자유로운 동영상 콘텐츠를 의미하며, 이것은 향후 영상 콘텐츠 시장의 지속적인 성장을 위해 반드시 필요한 것이다. 동영상 콘텐츠를 위한 저작권 보호는 제안된 복합적 왜곡에 강인한 워터마킹 시스템으로 해결될 수 있고, 동영상 에러 손실 복원은 제안된 가역 정보 은닉 기술을 이용한 하이브리드 에러 복원 시스템을 통해 이루어진다.
저작권 보호를 위한 정보 은닉 기술로서 강인한 동영상 워터마킹 기법은 동영상 콘텐츠에 저작권 정보에 해당하는 워터마크 신호를 은닉한 후, 배포된 콘텐츠로부터 워터마크 신호를 확인하여 콘텐츠 배포자 추적, 저작권자 확인, 콘텐츠 모니터링 등을 가능하게 하는 기술이다. 기존 동영상 워터마킹 기술은 주로 단일하게 일어나는 기하학적 공격이나 시간축 공격만을 고려하기 때문에 워터마크가 삽입된 영상에 다양한 공격들이 복합적으로 일어난 경우에 저작권 정보인 워터마크 신호를 안정적으로 확인할 수 없다는 문제점을 갖고 있다. 본 논문에서 제안된 방법은 이와 같은 기존 기법의 한계점을 극복하기 위해 캠코더 촬영 공격과 같은 복합적인 시공간 공격에 강인하도록 설계되었다. 워터마크 검출을 위한 원본 참조 패턴을 사용하는 기존 방법과 달리, 본 학위 논문에서 제안하는 방법은 워터마크가 삽입된 동영상으로부터 참조 패턴을 직접 추출하여 사용 한다. 직접 추출된 참조패턴과 워터마크 패턴은 항상 공간적 동기성을 유지하고 있기 때문에 어떠한 복합적 기하학 왜곡이 일어나더라도 부가적인 동기화 과정 없이 워터마크 정보를 빠르게 확인할 수 있다. 또한 시간축 동영상 절삭과 같은 왜곡에 의한 참조 패턴의 mis-estimation 문제는 제안된 두 단계 검출기를 통해 해결될 수 있다. 본 학위 논문에 기술된 실험 결과는 제안된 방법이 다양한 시공간적인 왜곡 (재압축, 시공간축 절삭, 크기 변환, 회전, 투사, 이동, 캠코더 촬영 공격 등)에도 워터마크를 안정적으로 검출할 수 있음을 보여준다.
본 학위 논문에 제시된 하이브리드(hybrid) 에러 손실 복원 기법은 가역 정보 은닉 기술을 활용하여 H.264/AVC로 압축된 동영상에 발생한 에러 손실를 복원하는 방법을 다루고 있다. 정보 은닉 기술을 이용하여 영상을 복원하는 기술은 기존의 정보 은닉 없이 시간적 공간적 유사성을 이용한 에러 손실 복원 기법에 비해 더 좋은 복원 성능을 보이지만, 정보 은닉 후에 결과 동영상의 비트율(bit-rate)이 증가하며 어느 정도의 원본 영상의 손실을 감수해야 한다는 문제점을 보인다. 제안된 가역 정보 은닉 기술을 활용한 에러 손실 기법은 데이터 추출 후 원래 데이타로의 복원이 가능하기 때문에 정보 은닉으로 인한 원본 손상이 없다. 또한 제안된 방법은 에러 손실 복원을 위한 정보인 움직임 벡터 그 자체를 은닉하지 않고, 움직임 벡터의 차이값을 은닉함으로써 비트 증가율을 낮추었다. 움직임 벡터의 차이 값은 매크로블록(macroblock) 내부의 픽셀(pixel)을 이용하여 구한 실제 움직임 벡터와 외부의 픽셀을 이용하여 구한 예측된 움직임 벡터 사이의 차이 값을 의미한다. 제안된 방법은 각 매크로 블록에 대해서 왜곡 비용을 고려하여 16x16 블록 단위 움직임 벡터 삽입 모드와 8x8 블록 단위 움직임 벡터 비삽입 모드 중에서 좀 더 좋은 복원 성능을 나타내는 모드를 선택하는 하이브리드 블록 에러 손실 복원 방법을 이용함으로써 복원 성능을 높이고 비트 증가율을 낮추었다. 다양한 실험 결과는 제안된 기법이 기존의 에러 손실 복원 기법에 비해 비트 증가율과 에러 손실 복원 측면에서 더 우수 성능을 보인다는 것을 증명한다.
또한 본 학위 논문에서는 자기 동기화 신호 기반의 강인한 비디오 워터마킹 기법 기반의 비가시성 로고 워터마킹 기법을 제안한다. 제안된 비가시성 로고 워터마킹 기법은 로고 워터마크와 의사 잡음 워터마크의 장점을 조합한 방법으로서 로고 신호를 보이지 않게 자기 동기화 신호를 이용하여 삽입을 하고, 삽입된 비디오로부터 보이지 않는 워터마크 로고 신호를 추출하여 가시화시킨다. 추가적으로 본 학위 논문에서는 제안된 워터마킹 기법의 성능을 향상시키기 위한 기법들을 제안한다. 제안된 복합적 마스킹 기법은 삽입된 워터마크 신호의 비가시성을 향상시키기 위한 방법으로서 NVF 마스크, 적응적 디더링 마스크, 윤곽 마스크의 조합으로 이루어져 있는 마스킹 기법이다. 또한 이웃 필터 기반의 워터마크 추출 필터는 픽셀값의 변화가 심한 프레임 영역에서 워터마크 신호 추출 성능을 향상시키기 위해 제안된 기법이다.
