The efficacy of Deep Convolutional Neural Network (CNN) features as perceptual quality features has been demonstrated by many researchers. Nevertheless, any thorough analysis in the context of human visual perception on 'Why deep CNN features perform well as perceptual quality features?’, ’Which layers have better perceptual quality features?', 'Which feature maps are better perceptual quality features?' and most importantly, 'Why are some better than others?' has not been studied. In this thesis, we firstly address these fundamental issues followed by a proposed attention mechanism to improve the perceptual loss for image restoration.
The proposed channel attention mechanism is derived form a spatial frequency selectivity analysis of deep CNN features as the of different channels in each layer of the pre-trained CNN. Feature maps that show higher sensitivity to spatial frequencies important for visual perception, are assessed to be better perceptual quality features. The human visual system's sensitivity to different spatial frequencies is quantified through the Contrast Sensitivity Function (CSF).
The proposed spatial attention mechanism makes use of the fact that the feature maps are transformed representations of input images. The attention help's the perceptual loss restore image regions which produce higher contrast sensitivity for human observers.
The results will demonstrate that we have been successfully able to quantify how good a feature map is as a perceptual quality feature and our proposed attentive modification's to the perceptual loss deliver a much better perception-distortion trade-off compared to the widely used perceptual loss.
딥 컨볼 루션 신경망의 효용성 (CNN)의 지각 적 특성은 많은 연구자들에 의해 증명되었다. 그럼에도 불구하고, "왜 CNN 지형지 물이 지각 품질 특징으로 잘 작동 하는가?", "어느 지층이 지각 품질 특성이 더 좋습니까?", "어떤 지형지 물이 더 나은 지각 품질인지에 대한 인간의 시각적 인식에 대한 철저한 분석 가장 중요한 것은 "왜 다른 사람들보다 더 나은가?"에 대한 연구가 없다는 것입니다. 이 논문에서 우리는 먼저 이미지 복원을위한인지 적 손실을 개선하기위한 제안 된주의 메커니즘을 따르는 이러한 근본 문제를 다룬다.
제안 된 채널주의 메커니즘은 사전 훈련 된 CNN의 각 계층에서 서로 다른 채널로 깊은 CNN 특징의 공간 주파수 선택도 분석에서 유도된다. 시각적 인식에 중요한 공간 주파수에 대한 높은 감도를 나타내는 기능 맵은 더 나은 지각 품질 기능으로 평가됩니다. 서로 다른 공간 주파수에 대한 인간 시각 시스템의 감도는 Contrast Sensitivity Function (CSF)를 통해 정량화됩니다.
제안 된 공간주의 메커니즘은 특징지도가 입력 이미지의 표현을 변형한다는 사실을 이용한다. 주의 도움은 지각 손실이 이미지 영역을 복원하여 사람의 관찰자에게 더 높은 대비 감도를 제공합니다.
결과는 지형지 물이 지각 품질 특성으로서 얼마나 훌륭한지를 정량화 할 수 있었고 지각 손실에 대한 제안 된 세심한 수정이 광범위하게 사용 된 지각 상실과 비교하여 훨씬 나은 지각 - 왜곡 절충을 제공한다는 것을 입증 할 수있었습니다.
