In image quality prediction, it is the most important to understand how humans perceive the processed images since human observers are the ultimate receivers of the images. Thus, objective image quality assessment (IQA) methods which predict the quality of images based on the human visual quality perception have been extensively studied. However, after the successful usage of deep convolution neural networks (CNNs), many IQA methods have applied the black box approach, in which CNN automatically learns useful information from the IQA database and performs predictions without considering any human visual perception characteristics. In this paper, we propose a novel deep neural network that performs the image quality prediction based on human visual perception characteristics. The proposed deep neural network is called Deep HVS-IQA Net. Different from previous CNN based IQA models, we directly apply human psychophysical characteristics to the training of proposed Deep HVS-IQA Net using a distortion detection probability map from a just noticeable difference (JND) model and a saliency map which extracts important objects from the image. Also, we trained Deep HVS-IQA Net by applying a newly proposed rank loss which adds additional losses if predicted quality score orders are different from reference quality score orders so that the image quality prediction is stably performed. Furthermore, we applied the channel attention mechanism to our network so that the network can focus on more informative channels in the feature maps. We evaluate the proposed Deep HVS-IQA Net on the large IQA databases and show the state-of-the-art quality prediction accuracy among all IQA models.
영상 화질 평가를 예측할 때에 인간관찰자가 영상의 최종 수신자이기 때문에 해당 영상의 화질이 인간의 눈에 어떻게 인지되는지를 이해하는 것이 가장 중요하다. 그로 인해 인간 시각적 화질 인지 특성을 모델링하여 영상의 화질을 예측하는 객관적 이미지 화질 평가 (IQA) 방법이 널리 연구되어 왔다. 그러나 심층 콘볼루션 신경망(CNN)의 성공적인 응용 이후, 많은 IQA 방법들이 인간의 시각적 인지 특성을 고려하지 않고 CNN이 IQA 데이터베이스로부터 유용한 정보를 자동적으로 학습하여 예측을 수행하는, 블랙박스 접근법을 적용해 왔다. 본 연구에서는 인간의 영상의 화질에 대한 시각 인지 특성을 기반으로 새로운 영상 화질 예측을 수행하는 심층 신경망을 제안하며, 이 제안된 심층신경망을 Deep HVS-IQA Net이라 한다. 본 연구에서는 이전의 CNN 기반 IQA 모델들과는 달리 최소 인지 왜곡 모델(JND)로부터 계산되는 왜곡 검출 확률 맵과 영상으로부터 중요 객체를 구해 내는 Saliency 맵을 CNN의 입력으로 활용함으로써 인간의 정신물리학적 특성을 직접적으로 Deep HVS-IQA Net 학습과정에 적용시킨다. 또한 학습과정에서 Deep HVS-IQA Net이 예측한 화질 평가 점수의 영상 간 점수 순서가 Ground truth 점수의 순서와 다른 경우, 순서 오류에 대한 페널티가 가해지도록 새롭게 제안된 Rank Loss를 적용시킴으로써 화질 평가 예측이 안정적으로 수행되도록 하였다. 또한 채널 어텐션 매커니즘을 네트워크에 적용시킴으로써 네트워크가 유용한 정보를 가지는 채널에 집중할 수 있도록 하였다. 마지막으로 본 연구에서는 제안된 Deep HVS-IQA Net이 지금까지 연구된 IQA 모델 중에서 가장 우수한 성능을 나타냄을 보인다.
