How to train a machine well so that it can develop intelligence like human has been a big issue of arti-ficial intelligence industry. Recently, deep learning has been a hot topic in this field. It is proven by several researches that deep learning, which resembles hierarchical data processing mechanism of our brain, actually does help learning process and improves the performance. In this thesis, we introduce another type of deep learning network, hierarchical multi-layer NMF, where each unit consists of non-negative matrix factorization algorithm, NMF; we extend single unit of learning algorithm NMF into multi-layered structure. With our pro-posed network, we aim to achieve two goals. One is to mimic and model how our brain processes information and represent data in hierarchical manner. The other is to observe the behavior of our multi-layered hierar-chical network and analyze its characteristics compared to shallow structure. Our demonstration shows that proposed multi-layered structure successfully models hierarchical learning mechanism; in the lower layer, very simple and sparse features are extracted at first, and as it proceeds to upper layer, the features develop into complex features by making combinations of simple features. By observing the hierarchical feature ex-traction process of our proposed algorithm, we are able to understand the underlying structure of complex data; we can understand the basic building blocks and how they come together in stages to finally represent data characteristics. With the analysis on image and document data sets, experimental results show that our brain-like information processing model has some strong points in reconstruction and classification tasks compared to single layered structure. Furthermore, our proposed multi-layer network seems to display charac-teristics different from that of shallow architecture in aspect of distribution of data representation. Our pro-posed multi-layer network is expected to demonstrate hierarchical learning process for various types of data sets, and understand its hidden hierarchical structure. We hope to further study this network with more exten-sions and prove the effectiveness of biologically plausible modeling in application.
우리는 오랫동안 인간과 소통하며 인간세상에서 함께 살아갈 수 있는 똑똑한 로봇을 꿈꿔왔다. 이는 영화, 소설과 같은 곳에서도 확인할 수 있었다. 우리가 원하고 바라는 로봇의 모습은 다양하게 그려졌지만 한가지 공통점이 있었다. 바로 사람과 비슷하게 생각하고 행동하여 우리와 소통하는 있어 이질감이 들지 않아야 한다는 점이다. 이를 위해 로봇에게 인간과 비슷한 수준의 지능을 부여하는 것은 오랜 기간 연구자의 목표였고 꿈이었다. 로봇에게 지능을 부여하기 위해서 다양한 방식들이 연구되어왔다. 하지만 복잡한 정보를 효율적으로 처리하는 능력을 모방하기란 쉽지 않았다. 정보가 복잡해 질수록, 이를 처리하기 위한 알고리즘 또한 복잡해 졌다. 이런 과정에서 복잡한 정보를 효율적으로 처리하는 방식에 대한 연구가 중요해졌다. 이러한 방향의 일환으로 인간이 정보를 처리하고 이해하는 과정을 모방한 모델들이 주목을 받기 시작했다. 간단한 알고리즘을 여러 개 반복해서 쌓음으로 인해서 알고리즘의 복잡성을 줄이면서도, 간단한 해결책을 통합시키는 방식을 통해서 복잡한 문제를 풀 수 있다는 계층적 방식의 알고리즘은, 효율성과 효과 두 가지 모두의 목표를 만족시키는 대안으로 떠올랐다. 이러한 분위기와 함께, 현재에도 계층 구조로 복잡한 문제를 해결하는 방식이 활발하게 연구되고 있다.
이번 논문연구에서 우리는, 복잡한 문제를 한 단계 한 단계씩 차례대로 풀어가는 또 하나의 계층적 방식으로 알고리즘을 제안하였다. 제안 알고리즘에서는 비음수행렬분해법을 각 단계의 기본이 되는 간단한 알고리즘으로 사용하였다. 비음수행렬분해법은 여느 다른 알고리즘과는 다르게 정보를 처리하는 과정이 직관적으로 이해할 수 있는 형태로 제공된다는 점에서 생물학적으로 근거가 있는 알고리즘이라고 익히 알려져 있다. 이러한 특성을 가진 알고리즘을 계층적 구조로 복잡한 문제를 해결하는데 사용함으로써, 우리는 크게 두 가지의 목표를 달성하고자 한다. 첫 번째는, 정보가 계층적으로 여러 단계를 통해 처리되는 과정을 모델링하여 이를 우리가 직관적으로 이해할 수 있게 보여주는 것이다. 두 번째는 계층적 정보처리 모델이 단순한 알고리즘과 비교해서 어떤 특성을 가지는지 관찰해 보는 것이다.
제안된 계층적 정보처리 비음수행렬분해 알고리즘을 완성하기 위해 우리는 알고리즘의 각 부분을 조심스럽게 디자인 하였다. 알고리즘의 세부 구조를 하나씩 다 점검한 이후 완성된 최종 디자인을 두 가지 종류의 데이터에 적용시켜 보았다. 하나는 이미지 데이터인 MNIST이고 또 다른 하나는 문서 데이터인 Reuter 데이터이다. 두 가지 종류의 데이터에 대해서 우리는 성공적으로 계층적으로 데이터가 처리되고 완성되는 과정을 보였다. 이를 통해서 우리는 이미지와 문서 데이터가 어떻게 가장 기본 단위 특징으로 분해 되고, 어떤 특성을 가진 기본단위들이 모여서 계층적으로 복잡한 단위를 형성하여 최종적으로는 하나의 완성된 데이터를 복원하는 지를 이해할 수 있었다. 이러한 과정에서 복잡한 데이터의 내재된 개념들의 계층구조도 파악할 수 있었다. 제안 알고리즘의 작동원리에 대해 이해를 높이기 위해 다양한 분석을 해 보았다. 우선 복원 능력과 분류 능력의 측면에서 제안된 계층적 다단계 구조와 일반적인 한 단계로 이루어진 구조의 알고리즘을 비교했을 때, 다단계 구조의 방식이 적은 수의 특징 수로 제한된 상황에서 더 좋은 성능을 보였다. 하지만 특징 수에 아무런 제한이 없이 최고의 성능을 보이게 두었을 때에는 최종적으로 도달하는 최고 성능은 제안된 다단계 구조와 기존의 얕은 구조 모두 같은 성능을 보였다. 정량적인 분석 이외에도 다단계 특징 추출 과정을 이해하기 위한 정성적인 분석을 시행해 보았다. 우리는 최종적으로 표현되는 데이터가 어떠한 패턴을 지니는지 살펴보았다. 그 결과, 제안된 계층적 다단계 구조로 표현된 데이터가 얕은 구조로 표현된 데이터 보다 더 구별 가능한 구조로 분포되어있는 것을 확인할 수 있었다. 이 외에도 우리는 특징 추출 과정에 있어서 계층적 다단계 방식이 어떤 역할을 하는 지 확인해 보았다. 그 결과, 크게 두 가지 역할을 하는 것으로 이해할 수 있었다. 첫 번째는 비슷하거나 동일한 특징을 모아서 합쳐주는 역할이고, 두 번째는 서로 다르게 보이지만, 큰 범주에서는 같은 분류에 속하는 특징을 모아서 복잡한 특징으로 완성시켜 주는 역할 이다.
제안 알고리즘으로 우리는 다양한 종류의 데이터가 어떻게 계층적으로 처리가 되는지를 보이고, 복잡한 데이터가 어떤 기본 구조로 이루어져 있고 이들이 어떻게 복잡한 원본 데이터를 형성해 가는지 데이터의 근본적인 구조를 이해하는 데 활용할 수 있을 것이다. 실용적인 측면에서는, 데이터를 표현할 수 있는 특징의 개수가 제한이 된 상황에서 최고의 성능을 보여야 하는 경우에 활용될 수 있을 것으로 기대한다.
추후 연구로는 이미지와 문서 데이터 이외의 다른 데이터에 대해 제안 알고리즘을 적용해 다양한 데이터의 근본적인 구조를 이해하고 우리가 어떻게 이를 처리해 이해하는 지를 보이고 싶다. 또한, 이번 연구에서는 2개 혹은 3개 단계 구조로만 실험을 하였는데, 추후에는 단계의 개수를 늘려서 좀 더 복잡한 데이터에도 적용시켜보고 싶다.
