Deep learning has been a major research area these days. As the name implies, enormous amount of computation and memory are required to compute the deep neural network. Therefore how to manage the network structure is an essential issue of deep learning. One of the approach to deal with the problem is to prune the trained network. The latest researches benefit from the strong infl-uence of absolute value of weight on performance. In this work, a complementary method to the existing method is introduced. A new measure adopting the Hebbian learning is used and weighted summed to the absolute value of weight. Due to the complementary nature of the Hebbian learning, the proposed method showed an improvement in performance. Through the various experiments, small insights of what features the weight ‘important’ are given.
심층 학습 기법에는 방대한 양의 계산량과 메모리가 필요하다. 따라서 네트워크 구조에 대한 연구가 필수적 이다. 최근의 연구 중, Song Han등이 간단한 방법으로 네트워크 구조를 축소시킨 바 있다. 해당 연구에서는 네트워크의 가중치의 절대값을 기준으로 가중치의 유지 및 제거 여부를 결정한다. 본 연구에서는 Hebb의 이론을 응용하여, 이러한 가중치의 절대값을 사용한 방법을 보완하였다. 가중치의 절대값이 가중치 각각 의 영향력만을 고려한다면, Hebb의 이론을 응용한 방법은 시간적으로 축적된 정보와, 뉴런 사이의 관계에 있어서 동일하게 반응하는 가중치의 조합에 주목한다. 본 연구에서 제안된 융합 방법을 기준으로 선택한 가중치들의 성능이, 기존의 가중치의 절대값만을 고려하여 선택한 가중치의 성능보다 우수함을 확인하였다.