Explaining the behaviors of deep neural networks, usually considered as black boxes, is critical especially when they are now being adopted over diverse aspects of human life. Taking the advantages of interpretable machine learning (interpretable ML), this work proposes a novel tool called Catastrophic Forgetting Dissector (or CFD) to explain catastrophic forgetting in continual learning settings. We also introduce a new method called Critical Freezing based on the observations of our tool. Experiments on ResNet articulate how catastrophic forgetting happens, particularly showing which components of this famous network are forgetting. Our new continual learning algorithm defeats various recent techniques by a significant margin, proving the capability of the investigation. Critical freezing not only attacks catastrophic forgetting but also exposes explainability.
일반적으로 블랙 박스로 간주되는 심층 신경망의 동작을 설명하는 것은 특히 인간 생활의 다양한 측면에서 채택 될 때 중요합니다. 해석 가능한 기계 학습 (통역 가능한 ML)의 이점을 활용하여이 학습은 지속적인 학습 환경에서의 치명적인 잊음을 설명하기 위해 CFD (Catstrophic Forgetting Dissector)라는 새로운 도구를 제안합니다. 우리는 또한 도구의 관찰을 바탕으로 Critical Freezing이라는 새로운 방법을 소개합니다. ResNet에 대한 실험은 치명적인 망각이 어떻게 발생하는지, 특히이 유명한 네트워크의 어떤 구성 요소가 망각하고 있는지를 보여줍니다. 우리의 새로운 연속 학습 알고리즘은 최근의 다양한 기술을 상당 부분 능가하여 조사 능력을 입증합니다. 치명적 동결은 치명적인 망각뿐만 아니라 설명 가능성을 노출시킵니다.
