Since its advent, deep networks showed amazing performance on various topics in computer vision.
The two representative network models are Convolutional Neural Network(CNN), a powerful architecture for treating spatial information in an image, and Long Short-Term Memory(LSTM), which is best known for its exceptional achievements in sequential data. In this paper, we propose for the first time a method to diagnose both CNN and CNN+LSTM network in classification tasks. Our idea is based on analogy between CNN and object processing stages in the human visual cortex. Using analogy from the human visual perception process, we introduce a novel method to figure out a set of critical features for the CNN's classification performance, and call this set of features as evidence. The visualized evidence can explain the reasons when misclassifications occur and helps understand constraints of outperforming networks. Finally, we address the limitations of our work and suggest areas for further study.
최근 딥러닝은 구현의 간단성과 매우 우수한 성능으로 인하여 컴퓨터를 이용한 시각기법 및 영상처리 분야에 널리 사용되어지고 있다. 하지만 그 파괴력에 비하여, 실제로 내부가 어떤 원리로 작동하는지는 잘 알려지지 않았다. 더욱 더 우수한 성능의 딥 러닝 네트워크 구조를 설계하기 위하여, 네트워크 내부의 임의의 인공 신경세포의 활성도를 영상화 시키는 방법이 최근 제시되고 있다. 하지만 전체 네트워크의 어떤 활성도 패턴이 입력 영상의 특징들과 관련된 의미를 가지며, 목표 성능에 중요한 역할을 하는지 등은 아직 밝혀지지 않았다. 이 논문에서 우리는 주성분분석(Principal Component Analysis)를 통하여 입력 영상안에서 어떤 특징점이 네트워크에게 가장 강하게 인식되었으며, 이를 통하여 가장 대표적인 딥 네트워크인 CNN을 진단하는 방법을 제시하였다. 이 때, 우리는 원본 영상과 같은 판단 결과를 가장 작은 주성분벡터의 집합을 '판단근거'(evidence)라고 정의하였다. 우리는 이 판단 근거를 통하여 CNN이 영상 안에서 주요 영역 외 부분을 보는 경우가 자주 발생하고, 이러한 현상이 왜 일어나는지를 알아냈으며, 이를 통하여 CNN에서 잘못된 판단이 도출된다는 것을 발견하였다. 또한, 우리는 이 판단 근거를 CNN+LSTM(LRCN)의 구조를 분석하는데로 확장시켰으며, 현재 행동 인식에 대하여 뛰어난 성능을 보이고 있는 Two-stream LRCN 네트워크 구조의 한계점을 제시하였고, 이를 실험을 통하여 증명하였다.
