When moving objects are presented on a hold-type display with a low frame rate (LFR), temporal aliasing, especially judder artifacts, can be perceived by a viewer. In this work, a new metric to measure judder artifacts of video sequence is proposed. In addition, to consider both computational complexity and perceptual quality, dynamic frame-rate control is proposed using judder artifacts measurement of video sequence.
In judder artifacts measurement part, we propose a new metric to measure judder artifacts of video sequences. Judder artifacts appear as non-smooth motions in hold-type displays when the frame rate is low and object motion is fast. To analyze judder artifacts in video sequences, the proposed judder metric is defined by analyzing the effects and cross-relations of judder features in the video sequences. The judder features include spatial features of image gradients and temporal features of motion vectors and the frame rate. In addition, sensitivity of the human visual system (HVS) is considered to determine the perceptual judder artifacts because it has special characteristics of sensitivity to image brightness and contrast. Therefore, a sensitivity map of the HVS is used to mask judder artifacts. Experimental results demonstrate that the proposed judder metric is highly correlated with the subjective assessment results.
In the dynamic frame-rate control part, we propose a dynamic frame-rate control method, which can adaptively adjust the frame rates while minimizing judder artifacts. The proposed method measures the degree of judder artifacts, called the judder score, and adjusts frame rate according to the judder score. To improve the measurement accuracy of judder artifacts, content-adaptive pooling is used by analyzing the judder features. In order to set a criterion for adjusting frame rate, we determine a perceptual threshold of judder artifacts through subjective assessment. The proposed method is applied to the frame rate up-conversion (FRUC), and the experimental results show that the proposed method produces dynamic frame rate that minimizes judder artifacts and controls the frame rates more effectively than the previous methods.
낮은 프레임 율의 홀드 타입 디스플레이 (hold-type display) 의 경우, 시청자는 움직이는 물체를 관찰할 때 저더 아티팩트 (judder artifacts) 를 관찰한다. 이 논문에서는 비디오 시퀀스의 저더 아티팩트를 측정하기 위한 새로운 기법을 제안한다. 또한 계산 복잡도와 지각적 품질을 모두 고려하기 위해, 저더 아티팩트를 최소화하면서 적응적으로 프레임 율을 조절할 수 있는 동적 프레임 율 제어 (dynamic frame-rate control) 방법을 제안한다.
저더 아티팩트 측정 부분에서, 우리는 비디오 시퀀스의 저더 아티팩트를 측정하기 위한 방법을 제안한다. 저더 아티팩트는 홀드 타입 디스플레이에서 출력되는 비디오의 프레임 속도가 낮고 물체의 속도가 빠를 때 부드럽지 않은 움직임으로 관찰된다. 제안된 저더 측정 방법은 비디오 시퀀스에서의 저더 특징 (judder feature) 과 그 특징들의 상호관계를 분석하여 정의된다. 저더 특징은 이미지 기울기 (gradient) 인 공간적 특징과, 프레임 율과 움직임 속도인 시간적 특징을 포함한다. 또한, 이미지의 밝기 및 대비에 대한 사람의 민감도가 다르기 때문에, 인식적인 저더 아티팩트를 결정하기 위해 인간 시각 시스템 (human visual system) 의 감도 (sensitivity) 를 이용하여 저더 아티팩트를 마스크(mask)한다. 실험 결과는 제안된 방법이 주관적 화질 평가와 높은 상관관계가 있음을 보여준다.
동적 프레임 율 제어 부분에서, 제안하는 방법은 저더 점수 (judder score) 라고 불리는 저더 아티팩트의 크기를 측정하고, 측정된 저더 점수에 따라 비디오의 프레임율을 적응적으로 조절한다. 저더 아티팩트 측정의 정확도를 향상시키기 위해, 저더 특징의 특성을 고려한 공간적 풀링 기법을 제안한다. 프레임 율 조절의 기준을 제안하기 위해, 주관적 평가를 수행하여 저더 아티팩트의 지각 역치 값을 결정한다. 제안하는 방법은 프레임 율 향상 기법 (frame rate up-conversion, FRUC) 에 적용되고, 실험결과를 통해 제안하는 방법이 비교 방법들보다 저더 아티팩트를 최소화 하고 더욱 효율적으로 프레임 율을 제어할 수 있음을 보여준다.
