In this thesis we examine an effect that occurs when applying Deep Taylor Decomposition to Neural Networks.Deep Taylor Decomposition is a method to explain decisions of Neural Networks by mapping the output decision back onto the input. If it is applied to a non-dominant class, the resulting heatmap looks identical to the heatmap for the dominant class with the highest output. Therefore it is not a meaningful explanation of the non-dominant class.
We examine this diffusion of different explanations by training Neural Networks with varying numbers of classes and varying networks structures and identify two potential causes. Subsequently we explore and analyze strategies to counter these causes and reduce diffusion. All strategies follow one of two approaches. Either the structure of the Neural Networks is changed before training to encourage separation of heatmaps or the relevance propagation rules are changed.
To objectively rate and compare the validity of those strategies we introduce a metric to measure the quantity of diffusion present and examine its validity when compared to visible differences of the explanation. The metric alongside exemplary images is used to judge the success of mitigation strategies.
For large numbers of classes, we found no efficient way to reduce diffusion by changing the network structure. Changed relevance propagation rules can be applied and lead to sensible explanations.
For small numbers of classes to be classified, it is possible to either change the network structure without large losses in performance or training cost to acquire sensible explanations for non-dominant classes.
본 논문에서는 심층 테일러 분해 (Deep Taylor Decomposition)를 신경망 (Neural Network)에 적용했을 때 발생하는 효과에 대해 다루었다. 심층 테일러 분해는 출력 결정을 입력에 다시 연결하여 신경망의 결정을 설명하는 방법이다. 열성 클래스에 적용되면 결과 히트맵은 높은 출력을 갖는 우성 클래스의 히트맵과 동일하게 보인다. 그러므로 그것은 열성 클래스에 대한 의미 있는 설명이 아니다.
우리는 다양한 수의 클래스와 다양한 네트워크 구조로 신경망을 훈련하였고, 이를 통해 두가지 잠재적인 원인을 확인했다. 우리는 이러한 원인에 대응하고 확산을 줄이기 위한 전략을 탐구하고 분석한다. 모든 전략은 두 가지 접근법 중 하나를 따른다. 히트맵의 분리를 장려하기 위해 학습 전에 신경망의 구조가 변경되거나 관련성 전파 규칙이 변경된다.
이러한 방법의 타당성을 객관적으로 평가하고 비교하기 위해 우리는 현재 존재하는 확산의 양을 측정하는 척도를 소개하고 설명의 차이점과 비교할 때 그 타당성을 검사한다.
모범적인 이미지와 함께 척도는 완화 전략의 성공 여부를 판단하는 데 사용된다. 많은 수의 클래스의 경우 네트워크 구조를 변경하여 확산을 줄이는 효과적인 방법을 찾지 못했다. 변경된 관련 전파 규칙을 적용하여 합리적인 설명을 유도 할 수 있다. 소수의 클래스를 분류하기 위해, 열성 클래스에 대한 합리적인 설명을 얻기 위한 큰 학습 비용 없이 네트워크 구조를 변경할 수 있다.
