By UHD TV appeared, research to restore the high-resolution video efficiently from low-resolution video has been studied. Example-based super-resolution is intended to increase the size of the image using the patch from the training database. Performance of the algorithm is depending on the size of the database. Hence, the reconstruction method through the synthesis of patches in the relatively small size of database has been studied; super-resolution through neighbor-embedding.
Low-resolution patches are estimated with neighbor patches through weighting parameter, and then the target high-resolution patch is reconstructed by neighbor patches and the weighting parameter.
Performance is changed significantly depends on the feature that is used to obtain neighbor. In this paper, super-resolution through gradient-based neighbor-embedding is suggested to improve spatial quality of an image.
Hierarchical searching is to find the reasonable neighbor patches. First, searching by k-d tree is to find the patch based on the structure of the overall pixel values .Second, patches are searched by considering the gra-dient of patches. Not only similar gradient but also artifacts are searched.
Detected patches are reconstructed via the principal component analysis (PCA). As a result, artifacts are removed. Neighbor-embedding algorithm assumes the geometric relationship between low-resolution patches and high-resolution patches, this relationship must be preserved during the PCA process.
And patch is refined by decomposing finely in accordance with the texture of patch to strengthen the texture. Decomposition of the patch uses a method of threshold-based segmentation. Experimental results show the proposed method is effective in improving quality of an image than the other example-based super-resolution algorithm. Performance of the proposed method is superior to other methods in case of changing the size of database.
UHD TV가 등장함에 따라 저해상도 영상을 효율적으로 고해상도 영상으로 복원하는 연구가 진행되고 있다. 예제 기반 초 해상도화 기법 (example-based super-resolution)은 훈련 데이터베이스의 패치를 이용하여 이미지의 크기를 증대시키는 것이다. 이때 알고리즘 성능은 데이터베이스 크기에 의존적이게 되는데, 상대적으로 적은 크기의 데이터 베이스 안의 패치들의 합성을 통해 새로운 고해상도 패치를 만들어내는 이웃 임베딩 방법을 통한 초 해상도화 기법이 연구되고 있다. 이 방법은 저해상도 패치를 입력하면 검색되는 이웃 패치들간의 관계를 weighting 계수로 정의하여, 이 계수를 이웃 고해상도 패치들에 적용한다면 목표 고해상도 패치를 만들어 낼 수 있다는 방법이다. 이때 이웃 패치를 검색할 때 사용되는 feature가 무엇인가에 따라서 성능이 크게 달라질 수 있다. 본 논문에서는 경사 기반으로 이웃 패치들을 검색하고, artifact를 효과적으로 제거함으로써 화질개선을 하는 초 해상도화 알고리즘을 제안한다.
먼저, 계층적 단계의 검색 방법을 이용하여 이웃 패치들을 검색한다. 첫 번째 단계에서, k-d tree를 이용하여 패치의 전반적인 픽셀 값의 구조를 기준으로 패치를 검색한다. 검색된 패치 안에서, 패치의 텍스쳐를 고려하여 artifact를 포함하더라도 입력 패치의 모든 텍스쳐를 표현할 수 있는 이웃 패치들을 패치의 경사를 이용하여 검색한다. 검색된 패치들은 주성분 분석 방법을 통하여, 패치들의 공통된 고유벡터를 구하여 이 벡터를 이용하여 패치들을 복원한다. 그 결과 주성분이 아닌 arti-fact들은 제거되게 된다. 이웃 임베딩 방법은 저해상도 패치들과 고해상도 패치들이 기하학적으로 관계가 있다는 가정 하에 알고리즘이 적용되므로, artifact가 제거되는 단계에서 패치들간의 관계를 유지 할 수 있게 한다. 이렇게 얻어진 이웃 패치들을 이웃 임베딩 방법을 통하여 원하는 고해상도 패치를 예측한다.
패치의 텍스쳐를 좀 더 강화하기 위하여 패치를 텍스쳐에 따라 세밀하게 분해하여 재 복원을 한다. 패치 분해는 임계 값 기준 분할 방법 (threshold-based segmentation)을 이용한다. 실험결과는 제안하는 기법이 기존의 다른 예제 기반 초 해상도화 기법들보다 화질 향상에 효과적임을 보여준다. 데이터 베이스 크기가 달라져도, 제안하는 방법은 다른 기법들보다 성능이 우수하였다.
