This paper investigates the impact of reference frame selection on the quality of colorization in videos. A comprehensive analysis of three different video datasets was conducted to evaluate several manual and automatic reference frame selection approaches. Our findings reveal that automatic selection approaches outperform the conventional first or last frame selection approach. Additionally, we propose a novel effective multi-reference frame selection framework that enhances colorization accuracy by selecting an efficient set of reference frames based on the spatio-temporal correspondences of video frames. We believe this is the first study to provide an extensive analysis of the performance of various reference frame selection approaches in video colorization, offering significant implications for future work in this field.
이 논문에서는 레퍼런스 프레임 선정이 영상 색상화 품질에 미치는 영향을 분석하였다. 세 가지 영상 데이터 세트를 종합적으로 분석하여 다양한 수동 및 자동 레퍼런스 프레임 선정 방법론을 평가했다. 그리고 영상 프레임의 시공간적 대응을 기반으로 레퍼런스 프레임을 선정함으로써 색상화 정확도를 향상시키는 효율적인 레퍼런스 프레임 선정 프레임워크를 제안했다. 이 연구는 영상 색상화 분야에서 효율적인 레퍼런스 프레임 선정을 통한 성능 향상 분석을 한 최초의 연구로, 향후 이 분야의 연구에 중요한 시사점을 제공할 것으로 본다.
