Gradient signals have been widely used for the interpretability of a convolution neural network. To explain the decision of a single input, all channels in a layer contribute to gradient propagation. We hypothesize that not all channels are required to explain a single input and that channel pruning can improve the reliability of a saliency map. To test this hypothesis, we propose what is termed the partitioned channel gradient (ParchGrad), which partitions channels into two sets and modifies the gradient signals so that the ratio of the gradient magnitudes is manually controllable. In addition, we propose simple channel partitioning methods to prune channels for ParchGrad. We empirically show that \ours, combined with several saliency methods, results in a more reliable saliency map than the original gradient signal. Also, we found that (1) only a few channels (~10%) are required to explain a single input and (2) that the optimal pruning layers are different for each class label.
이 논문에서는 이미지 분류 모델인 합성곱신경망의 채널 해석을 기반으로 입력기여도를 개선하는 방법을 제안한다. 딥러닝의 의사결정을 해석하는 방법인 입력 기여도는 합성곱 모델 내부의 수많은 채널들의 가중치로 결정되는데, 이 논문에서는 수 많은 채널들이 모두 필요하지 않으며, 일부 필터링된 상태의 의사결정 해석이 더 나은 설명성을 제시함을 보인다. 제안된 알고리즘은 복수 개의 채널 중에서 일부를 선택하는 방법과 선택된 채널들로 원래 시그널의 크기를 보존하는 방법을 포함한다. 이 논문에서는 이미지 분류의 설명을 위해서 굉장히 적은 개수의 채널을 선택하는 것이 기존 해석과 유사하며, 노이즈를 제거함으로써 더 나은 설명성을 가진다는 것을 보였다.
