This paper presents a novel example-based colorization algorithm for natural images. For colorization, images are divided into image patches and then patches are categorized as flat, texture, and boundary patches based on their edge property. Different feature descriptors are then assigned to the flat and texture categories for a neighbor search. Through a weighted summation of the K nearest neighbors searched from reference image patches, the color information of flat and texture patches in a gray input image is synthesized. Using the synthesized color information, pixels belonging to a flat or a texture patch are initially colorized. All of the image pixels including the remaining boundary pixels are then subsequently colorized and refined using bilateral filters. A gamut-adaptive color space conversion scheme from the processed YUV to the RGB color space is also proposed to improve the naturalness of the color in the display. The experimental results show that the proposed algorithm successfully alleviates incorrect colorization in the boundary regions and improves color consistency in homogeneous regions compared to existing algorithms. In addition, the final RGB values of the colorized images maintain the original luminance and synthesized hue values well, resulting in more plausible and compelling colorization results in the displayed images.
본 연구는 흑백으로 된 자연영상을 위한 참조영상기반의 채색화 기법에 대해서 서술한다. 영상은 우선 패치로 나누어지고, 에지 특성을 이용하여 평탄, 텍스쳐, 경계패치로 분류된다. 비슷한 패치를 찾기 위해 분류된 카테고리에 따라 패치에 적합한 특징량을 부여한다. 참조영상의 패치로부터 찾아진 K nearest neighbors의 가중치 합을 통해, 흑백입력영상의 평탄, 텍스쳐 패치의 컬러정보가 합성된다. 이를 이용하여 평탄하거나 텍스쳐 패치에 속하는 픽셀들이 먼저 채색화된다. 다음으로는 bilateral filtering을 이용하여 경계영역을 포함하는 영상내의 모든 픽셀이 채색화 된 후 개선된다. 또한 최종적으로 display를 할 때 컬러의 자연스러움을 증대시키기 위해 YUV로부터 RGB로 변환해주는 적응적 gamut clipping기법을 제안한다. 실험결과는 제안하는 알고리즘이 성공적으로 경계 영역에서의 채색화 오류, 균일한 영역에서의 컬러의 균일하지 못한 점들을 완화시키는 것을 보여준다. 마지막으로 최종적으로 얻은 채색화된 영상의 RGB값이 원본영상의 밝기 값과 합성된 컬러정보의 휘도 값을 유지해 줌으로써, 원본을 왜곡시키지 않고 성공적으로 채색화한 결과 영상을 보여준다.
