In this work, we propose contrastive learning based deep neural network model for no-reference image quality assessment (NR-IQA). The proposed deep neural network model consists of 11convolutional neural networks (CNN) in parallel, each CNN initializing the weight to extract the characteristics of a specific group. For the initialization of weights of 11 CNNs, 11 groups are generated from LIVE dataset. The 11 groups are divided based on the distortion types and subjective image quality scores of the dataset, and the data in each group do not need to be mutually exclusive. With 11 groups generated from the dataset, 11 siamese networks that extract the characteristics of each group are pre-trained through contrastive learning. We then fine-tune the entire network on the target subjective image quality score. This method shows better performance than the previous NR-IQA model by using only limited image quality assessment data and suggests a feature extraction method that is meaningful for image quality assessment.
본 연구에서는 비참조 영상 화질 평가를 위한 대조적 학습 기반의 심층 신경망 모델을 제안한다. 제안하는 심층 신경망 모델은 11개의 컨볼루션 신경망이 병렬로 구성되어 있고, 각각의 컨볼루션 신경망은 특정 그룹의 특징을 추출하게끔 가중치 초기화를 한다. 11개 컨볼루션 신경망의 가중치 초기화를 위하여 LIVE 데이터셋으로부터 11개의 그룹을 생성한다. 11개의 그룹은 데이터셋의 왜곡 유형과 주관적 화질 평가 점수를 기준으로 구분되며, 각 그룹의 데이터들은 상호 배타적일 필요는 없다. 데이터셋으로부터 생성된 11개의 그룹을 가지고, 각 그룹의 특징을 추출하는 11개의 샴 네트워크를 대조적 학습 방식을 통해 사전 훈련한다. 그리고 사전 훈련된 11개의 샴 네트워크를 초기 가중치로 활용하여, 제안하는 신경망 모델이 영상의 주관적 화질 점수를 예측하게끔 파인 튜닝을 한다. 이 방식은 추가 데이터 없이 제한적인 영상 화질 평가 데이터만을 활용하여 기존 영상 화질 평가 모델 보다 좋은 성능을 보여주고, 영상 화질 평가에 유의미한 특징 추출 방법을 제시한다.
