H.264 Scalable Extension|MPEG-4 Scalable Video Coding (SVC) exploits dependency coding to achieve high coding efficiency for spatial, temporal and quality scalability functionalities. This dependency coding characteristic can best be utilized for selective protection (or encryption) of such scalable bitstreams. In order to maximize protection performance, a selective protection scheme that can maximize protection effect with the minimum amount of protected data is required. In this dissertation, we propose two selective protection schemes that maximize protection effects by the minimum number of encoded frames to be protected in the SVC bitstream domain.
The first proposed selective protection scheme is called dependency graph based selective protection (DGSP) scheme. We model the SVC dependency coding structure as a directed acyclic graph which is characterized with an estimated visual quality value as the attribute at each node. In addition, a visual quality estimation model is proposed based on the proportions of intra- and inter-predicted MBs, amounts of residues, and estimated visual quality of reference frames. The DGSP scheme traverses the dependency graph to find optimal protection paths that can give the maximum visual quality degradation. Experimental results show that, compared to protecting SVC bitstreams layer by layer (i.e., layered protection scheme), the DGSP scheme reduces computation complexity in the number of protected frames, the amount of protected data, and the protection time saving.
The second proposed selective protection scheme is called protection-rate-and-visual-quality-degradation optimization based selective protection (RQDSP) scheme. The RQDSP works by protecting the best combination of frames for selective protection in the sense that the amount of data required for protection is minimized and the resulting visual quality degradation is maximized. The effect of selective protection can be maximized when an input SVC bitstream is protected at the operating points on the optimal protection-rate and visual-quality (R-Q) curve. The RQDSP scheme efficiently finds the optimal R-Q curve which is the lower convex hull of all possible combinations of selectively protected frames in the SVC bitstream. The experimental results show that, compared to the layered protection scheme, the RQDSP scheme gives superior performance in terms of protection effectiveness due to its better selection of frames for protection given protection bit budgets.
H.264 스케일러블 비디오 부호화(H.264 Scalable Extension|MPEG-4 Scalable Video Coding: SVC)에서는 공간, 시간, 화질 스케일러블 기능에 대한 부호화 효율을 향상시키기 위하여 프레임 및 계층간 종속성을 이용한다. 본 연구에서는 이러한 스케일러블 비디오 부호화의 종속성을 스케일러블 비트스트림에 대한 선택적 암호화에 활용하였다. 암호화 성능을 최적화 함은 최소량의 정보를 암호화함으로써 최대의 정보 보호 효과를 달성함을 의미한다. 본 논문에서는 SVC의 비트스트림 영역에서 최소량의 부호화 프레임을 암호화하는 동시에 최대의 보호 효과를 추구하는 두가지의 선택적 암호화 방법을 제안한다.
첫번째 선택적 암호화 방법은 종속성 그래프 기반 방법(dependency graph based selective protection scheme: DGSP)이다. 이 방법에서는 SVC 부호화의 종속적 구조를 방향성을 갖는 비순환 그래프로 표현함으로써 추정된 시각 화질을 각 노드에서의 속성으로 규정한다. 또한, 인트라와 인터 매크로블록의 비율, 잔차신호의 크기, 참조 프레임들에 대한 추정 시각 화질 등을 기반으로 선택적 암호화 이용시 현재 프레임의 시각 화질을 추정하는 모델을 제안하였다. DGSP 방법에서는 최대 시각 화질 저하를 제공하는 최적 보호화 경로를 찾기 위하여 종속성 그래프를 탐색한다. 실험 결과로부터 DGSP 방법은 계층간 SVC 비트스트림 암호화 방법에 비하여 보호되는 프레임 수, 암호화되는 데이터의 양, 암호화 시간 등의 계산 복잡도 절감 효과를 보였다.
두번째 선택적 암호화 방법은 암호화 율-시각 화질 저하 최적화 방법 (protection-rate-and-visual-quality-degradation optimization based selective protection: RQDSP)이다. 이 방법에서는 암호화를 위해 필요한 정보량의 최소화 및 시각 화질 저하의 최대화 관점에서 최적의 프레임 조합을 탐색한다. 선택적 암호화 방법의 경우 입력 SVC 비트스트림이 최적의 암호화 율-시각 화질 곡선(R-Q curve) 위에 있는 실현 가능한 동작점(operating point)에서 암호화 될 때 최대 효과를 발휘할 수 있다. 제안한 RQDSP 방법은 SVC 비트스트림에서 선택적 암호화된 프레임들의 실현 가능한 모든 조합들로 이루어진 하계 블록다각형(convex hull)으로 정의되는 최적의 R-Q 곡선을 효율적으로 찾아낸다. 실험결과로부터 기존의 계층간 암호화 방법에 비하여 제안한 RQDSP 방법이 주어진 암호화 비트 예산 하에서 더 향상된 암호화 프레임 선택으로 인하여 더 효과적인 정보 보호 성능을 나타내었다.
