Recently, deep neural networks have widely been used in classification tasks for sequential data. However, it has not been lightened sufficiently why a neural network makes such decisions. In this paper, we suggest a new framework that selects temporal patterns from sequential data and visualizes them in order to explain the decision-making process of a deep temporal neural network. It does not require prior information such as hand-crafted segmentation labels. Our framework finds internal nodes that are highly activated in the trained temporal convolutional neural network. Subsequences that contribute to activating those nodes are characterized as representative patterns by the prototype selection method, which minimizes Maximum Mean Discrepancy between the prototypes and the total subsequences. In this process, the use of a Gaussian kernel, which is a general choice for similarity measurement, causes problems in grouping time series data. Thus, we propose a Gram kernel matrix using feature vectors in the neural network to improve the quality of selected prototypes in time series domains. The representative temporal patterns, which we call Prototypes of Temporally Activated Patterns (PTAP), show key regions in sequential data to interpret the decision-making of deep neural networks. Moreover, we analyze and visualize the role of each channel by observing input attribution with selected prototypes.
최근 심층 신경망은 시계열 데이터에 대한 분류 작업에 널리 사용되고 있다. 그러나, 신경망이 왜 그러한 의사결정을 내리는지는 충분히 밝혀지지 않았다. 본 논문에서는 심층 시계열 신경망의 의사결정 과정을 설명하기 위해 데이터로부터 시계열 패턴을 추출하고 시각화하는 새로운 방법론을 제안한다. 이 과정은 분할 레이블과 같은 사전 정보를 요구하지 않는다. 우리의 방법론은 학습된 시간적 컨볼루션 신경망 내부에서 크게 활성화된 내부 노드를 찾아낸다. 이러한 노드 활성화에 기여하는 부분열들은 최대 평균 불일치에 기초한 프로토타입 선택 방법에 의해 대표적인 패턴으로 특징지어진다. 이 과정에서 유사도 측정을 위한 보편적인 선택인 가우시안 커널을 이용하면 시계열 데이터를 그룹화할 때 문제가 발생한다. 따라서 우리는 시계열 도메인에서 프로토타입 품질을 향상시키기 위해 신경망의 특징 벡터를 사용한 Gram 커널 행렬을 제안한다. Prototypes of Temporally Activated Patterns라 명명한 대표 시간적 패턴은 심층 신경망의 의사 결정을 해석할 수 있는 시계열 데이터의 핵심 구간을 보여준다. 또한 선택된 프로토타입으로 입력 기여도를 관찰하여 신경망 내 각 채널의 역할을 분석하고 시각화한다.
