We proposed the novel feedback model for Convolutional Neural Networks (CNNs) in doing image classification that requires the model explainer, and has the purpose of allowing user to personalize the prediction made by CNNs through the iterative and interactive feedbacks submitted to the machine. The feedback model is practically the response matrix inserted in between two consecutive layers of CNNs, which will continuously process the feedback obtained and manifest it through the updated prediction behavior. The result showed that the method successfully fulfills each of the user’s objective in personalizing the prediction of the network and furthermore improve the explanation towards that image. Moreover, upon deploying the result of those iterations to be tested on several different images, we observed that none of those images have the explanation worsened. Some of the explanations were even improved after those iterations have been done.
본 논문은 이미지 분류 문제에 합성곱 신경망을 적용할 때 사용자가 모델의 예측을 해석하고, 반복적 피드백으로부터 모델 예측을 개인화할 수 있도록 하는 피드백 모델을 제안한다. 피드백 모델은 합성곱 신경망의 두 연속된 층에 삽입되는 응답 행렬이며, 지속적으로 업데이트되는 모델 예측에 따라 피드백을 수행한다. 본 연구의 실험 결과는 피드백 모델이 개인화 예측과, 이미지 예측 해석 개선이라는 각 사용자의 목표들을 성공적으로 수행함을 보여주었다. 또한 반복 피드백으로 얻어진 응답 행렬을 여러 다른 이미지의 분류에 적용해 본 결과, 모든 이미지의 예측 해석이 나빠지지 않았음을 관찰하였다. 몇 이미지의 해석은 오히려 개선된 결과를 보여주었다.
