The popularity of 3D content is on the rise because it provides an immersive experience to viewers. In this situation, DIBR 3D content has taken on an important role in 3D technology due to its low bandwidth cost, ease of depth configuration, and numerous applications exploiting depth maps. Noting that a viewer could record provided center view or synthesized views for illegal distribution, it is clear that copyright protection must be taken into account for the DIBR 3D content, including the possibility that one single view could be illegally distributed as 2D content. In this dissertation, we propose a robust watermarking scheme for DIBR 3D images and videos by quantization on dual-tree complex wavelet transform (DT-CWT) coefficients in consideration of watermark imperceptibility. To make the proposed scheme robust to a depth-image-based rendering (DIBR) process, two characteristics of DT-CWT are employed: approximate shift invariance and directional selectivity.
In order to robustly embed watermarks in a single DIBR 3D image, we select certain coefficient sub-blocks of the DT-CWT and group the coefficient sub-bands based on the properties of the DIBR system. On the extraction side, thresholds are carefully chosen with a low false positive rate. The simulation results show that the embedded watermark is stably extracted from the center view and the synthesized left and right views. In addition, even if the synthesized left and right views are distorted by general attacks, the watermark is successfully extracted. Furthermore, the proposed scheme is robust to pre-processing of depth maps and baseline configuration, which are common processing on the DIBR system for better quality of 3D views.
For DIBR 3D videos, temporal axis, which is a main difference characteristic between a image and a video, is exploited by dividing all frames into several groups. To reduce process time of both embedding and extraction processes, three algorithms are added to the previously proposed quantization step. Moreover, a coefficients compensation process, a adaptive quantization threshold estimation process, and a quantization candidates selection process are presented to enhance robustness and imperceptibility of the proposed watermarking system on the DIBR 3D videos. The simulation results show that the proposed method has results of low BERs for numerous attacks including compressions. In particular, the proposed method shows much lower BERs for geometric attacks than the compared methods.
2009년 영화 아바타(Avatar)의 큰 흥행을 기점으로 국내외적으로 3D 디스플레이 장치 및 콘텐츠 산업은 가파른 성장세에 있다. 특히 3D 영화의 경우 2010년 61억 900만 달러의 시장이 형성 되어 있으며, 성장률 역시 연평균 29.33\%로 전망 되고 있다. 이렇게 시장이 커지고 있는 상황에서 관심은 자연스럽게 3D 콘텐츠에 대한 저작권 보호 문제로 이어지고 있다.
대표적인 3D영상 코딩 기법 중 하나인 깊이 영상 기반의 콘텐츠는 기존의 좌, 우 영상 코딩 기법에 비해 낮은 대역폭 및 저장용량 요구, 깊이감의 자유로운 조정, 2D 디스플레이 장치에 대한 하위 호환성, 멀티뷰 TV로 확장성 등의 장점 때문에 입체영상 연구대상에서 중요한 역할을 차지하고 있다. 깊이 영상 기반의 콘텐츠는 중앙 영상과 이에 대응하는 깊이 영상의 쌍으로 이루어져 있으며, 두 영상을 DIBR 시스템에 의해 가상의 좌안 및 우안 영상으로 변환하여 3D영상을 제공한다. 따라서 깊이 영상 기반의 콘텐츠에 대한 저작권 보호를 위해 중앙 영상과 깊이 영상의 쌍이 불법으로 유출되는 경우는 물론 생성된 좌안 및 우안 영상의 쌍이 유출되는 경우, 중앙 영상과 생성된 좌안 및 우안 영상이 각각 2D 콘텐츠로써 불법 유통되는 경우 등을 모두 고려하여야 한다. 본 논문에서는 깊이 영상 기반의 3D 영상에 적합한 양자화를 통한 dual-tree complex wavelet transform (DT-CWT) 도메인 워터마킹 기법을 제안한다. 우선 DIBR 과정에 강인하게 설계하기 위해 DT-CWT의 두 가지 특성 (approximate shift invariance, directional selectivity)이 고려되었다. DIBR 과정의 주요 특징인 픽셀의 부분적 수평축 이동을 고려하여, DT-CWT의 계수 부대역 중 수직 성분을 주로 갖는 부대역들을 제외한 나머지 부대역들의 계수들을 양자화 대상으로 정하였다. 또한 비교 양자화를 위해 부대역의 계수들을 행으로 나눠 행과 행의 비교 양자화를 통해 워터마크를 삽입하였다. 검출 단계에서는 거짓 양성오류를 고려한 임계값으로 해당 DT-CWT계수의 행들을 비교함으로써 삽입한 정보를 추출 하였다. 또한 깊이 영상 기반의 3D 동영상으로 해당 기법을 확장하기 위해 다양한 알고리즘이 제안되었다. 우선 여러 공격에 대한 강인성을 높이기 위해 워터마크 삽입 전에 계수들 값을 보상 조정하여 워터마크가 효율적으로 삽입되게 하였다. 또한 비가시성을 높이기 위해 각 프레임별로 양자화의 세기를 적응적으로 계산하였으며, 양자화 대상을 선별하여 불필요한 화질 저하를 최소화 하였다. 마지막으로 삽입 및 검출 시간 향상을 위해 계수들을 그룹으로 묶어 양자화 대상을 줄였으며, 양자화 과정에서 양자화 시작점을 미리 계산하여 불필요한 계산을 줄였다. 실험결과를 통해 삽입된 워터마크는 중앙 영상은 물론 DIBR 과정에 의해 생성된 좌안 및 우안영상 각각에서도 안정적으로 검출 됨을 확인하였다. 또한 워터마크 삽입 후 생성된 좌안 및 우안 영상에 신호 및 기하학적 변형과 압축 등이 가해졌을 경우에도 허용된 범위 안에서 안정적인 검출 성능을 보여주었다. 마지막으로 DIBR 방식에서 흔히 일어나는 깊이감 조절 및 자연스러운 좌안 및 우안 영상 생성을 위한 깊이 영상 전처리에도 강인함을 실험을 통해 알 수 있다.
