Self-organizing feature map is one of the most widely used neural network paradigm based on unsupervised competitive learning. However the learning algorithm originally introduced by Kohonen is very slow when the size of the map is not trivially small. The slowness is mainly caused by the search process for a large map required in each training step of the learning.
Many works from recent studies of related area have focused on improvements of the learning process. Some of them focused on reduction of search space of the learning algorithm, while others on re-structuring of self-organizing neural network to make search process faster.
In this thesis, $L^*$ learning, a fast learning algorithm based on incremental ordering is proposed. We start with only a few units evenly distributed on a large topological feature map, and gradually increase the number of units until it covers the entire map. In the middle phases of learning, some units are well ordered and others are not, while all units are weakly ordered in Kohonen algorithm. The ordered units, during $L^*$ learning, help to accelerate the search speed of the algorithm and accelerate the movements of the remaining unordered units to their topological locations.
It is shown by the theoretical analysis as well as an experimental analysis that the proposed learning algorithm reduces the training time from O($M^2$) to O(logM) for the M by M self-organizing feature map without any additional working space, while preserving the ordering properties of the Kohonen learning algorithm.
자율학습신경망(Self-Organizing Neural Nwteork)은 가장 널리 사용되고 있는 신경망 모델의 하나로서 별도의 교습자를 필요로 하지 않는 경쟁적 학습 기법을 사용하고 있다. 그러나 Kohonen에 의해 이 방법이 처음 소개되었을 때에는 학습 방법이 매우 비효율적이었으며 특히 신경망의 크기가 작지 않은 경우에는 처리속도가 현져하게 떨어졌다. 속도가 느린 주 요인은 학습 과정의 매 단계마다 빈번하게 사용되는 탐색 과정이 신경망의 크기가 커질 때 매우 오랜시간을 소모하기 때문으로 보여지고 있다.
관련 분야의 최근 연구는 주로 학습 계의 성능 향상에 관심이 모아지고 있다. 그중 일부는 학습 과정의 탐색 부분에 모아지고 있고, 반면 나머지 일부는 자율학습망의 구조 자체를 재구성하여 탐색과정이 빨라질 수 있도록 하는 데 모아지고 있다.
본 논문에서는 점진적 순서화에 의한 빠른 학습 알고리듬을 제안하고 있다. 이 방법에서는 큰 신경망을 학습하기 위하여 처음에는 아주 작은 수의 노드만으로 시작한다. 학습을 진행하면서 점차적으로 노드의 수를 증가시켜서 최종 단계에서는 신경망의 모든 노드를 포함하도록 한다. 이 방법에서 학습의 중간 단계에서 보면, 일부 노드는 순서화가 잘 되어 있고, 나머지는 대조적으로 전혀 순서화가 되어있지 않게 된다. Kohonen의 방법에서는 이 경우 모든 노드들이 약하게 순서화 되어 있는 상태가 된다. 제안된 방법에서 순서화가 잘 되어 있는 노드들은 다음 단계에서의 탐색 속도를 빠르게 하며 순서화 되지 않은 나머지 노드들이 순서화 되도록 하는데 사용되게 된다.
이론적이고 실험적 분석 결과에 의하면, 제안된 학습 방법이 M×M 크기의 신경망에 대해 Kohonen의 O($M^2$) 탐색 계수를 O(logM) 으로 향상시켰고 아울러 추가적인 메모리의 부담을 전혀 갖지않고 Kohonen 알고리듬에서 나타나는 특성을 동일하게 보여주는 것으로 분석되었다.
