Feature learning has attracted much research concern for years as an important component of machine learning, pattern recognition and image processing. Its goal aims at finding a way to extract and understand features effectively from abstract and complex patterns. In this field of application, many techniques has been employed, namely Principal Component Analysis (PCA), Auto-encoder (AE) or Restricted Boltzmann Machine (RBM). In our thesis, we focus on employing Bidirectional Associative Memory (BAM), a type of Recurrent Neural Network, to learn the features. The original idea of this model was proposed by Kosko in 1988. In his work, Kosko introduced the two-layer nonlinear feedback neural networks of which stability and encoding properties are demonstrated. The stable state of BAM corresponds to a system local minimum. Given two input patterns, BAM tends to memorize them by gradually seeping pattern information into the synaptic weights W, following Hebbian learning law. By the same way, our extraction method looks forwards to store each input pattern and its extracted feature in the local minimum of the network state space. To do that, we combine BAM model and architecture with Energy-based learning approach that is proposed by Yann LeCun in 2006. Several trials has been done to achieve the goal. In the beginning, we tried to simply minimize Energy function of the pairs “input pattern - extracted feature”, along with adding several regulation terms to restrict the model. However, we found this idea may result in saturation state in which different patterns recall the same feature. Another way is to minimize energy gap between the input pattern and its first retrieval one. This method tends to push down on the energy of our input pattern, while it will pull up on wrong energy that is assumed to be the first retrieval. In experiments, we test our proposed method on grayscale images set MNIST. For evaluation, BAM was compared to RBM, AE and its variants. Another idea of hidden neuron saturated was also introduced and exploited to improve BAM performance. Experimental results showed improvement of using BAM in reconstruction task. For classification, BAM also outperforms standard AE and AE with weights decay.
본 논문에서 양방향 연상 기억 모델(Bidirectional Associative Memory, BAM)과 에너지에 기초한 학습을 이용하여 흑백 이미지를 다루기 위한 특징 학습법을 제시하였다. BAM모델에서 에너지 함수의 수렴성에 영감을 얻은 본 방법은 추출된 특징이 분류와 복원 성능을 향상시키도록 하는 방법을 찾는다.
본 특징 학습법의 발전 과정에서 몇 개의 트라이얼이 선택되어 테스트에 포함된다. 처음에는 단순히 각 클래스 별 저장된 패턴의 에너지 함수가 가장 작아 지도록 클러스터를 만들기 위한 시도로 시작이 된다. 시냅스간 가중치가 0으로 감소하거나 무한으로의 증가하는 것을 피하기 위해서 몇 가지 제약을 도입하였다. 먼저, 가중치가 줄어드는 항, 혹은 가중치의 크기를 조절하는 항을 에너지를 최소화 시킬 때 마다 첨가하도록 하였다. 그러나 부가적으로 규제를 하는 항은 우리의 모델이 좋은 성능을 보이는데 도움이 되지 않았다. 결과적으로 그것은 가중치를 그대로 두어 처음의 값으로 치우치게 하거나 다른 패턴에서 똑같은 특징이 뽑히는 포화단계로 이끌었다.
두 번째 접근법은 목적 함수에 아무런 제약도 두지 않는 것이었다. 대신에 주된 아이디어는 저장된 패턴의 에너지 함수를 최소화 시키는 동시에 이 패턴 원스텝 최소화(pattern one-step minimization)에 에너지를 최대화 시키는 것이었다. 그 방법을 통해서 에너지 표면은 저장된 에너지 부분에서 움푹 들어갈 것이며 다른 지점에서는 당겨 올라갈 수 있다. BAM 의 학습 법칙을 유도한 후 그것을 제한 볼츠만 머신(Restricted Boltzmann Machine, RBM)과 자동 인코더(Auto-encoder, AE)의 학습법칙과 비교를 해 보았다. BAM의 리콜 단계는 어떻게 보면 깁스 샘플링 교차와 유사하며 가중치의 기울기는 RBM에서 대조 발산(Contrastive Divergence)을 사용하는 한 스텝 복원(one step reconstruction)인 CD-1에 의해 얻어진 기울기와 유사한 꼴을 지닌다. AE에서는 복원 오차를 최소화 하려는 한편, 제시된 BAM의 코스트 함수는 입력 패턴과 처음 회수한 것의 에너지 차이를 최소로 하는 것을 목표로 한다.
제안된 방법의 성능을 평가하기 위하여, MNIST 데이터를 이용한 실험을 실시했다. 데이터는 먼저 6겹 교차 유효성 검사로 나누어졌다. 가중치와 바이어스의 초기값은 자동 인코더와 묶여진 가중치(tied weights)로 주어졌다. 그 다음에는 학습된 특징을 소프트맥스(softmax)를 통해 학습기에 주입하였다. 소프트맥스 층이 학습이 되고 나면, 지도방식을 이용하여 전체 네트워크를 미세 조정 하였다. 매 회의 유효성 검사에서 분류와 복원 오차는 제안된 BAM을 사용 한 경우, 하지 않은 경우에 관해 각각 계산이 되었다. 최종 결과는 우리의 BAM이 분류와 복원 성능 향상에 기여를 한 것으로 나타났다.
마지막으로, BAM과 다른 추출 방법을 비교하기 위해서 1000개의 히든 뉴런(hidden neuron)을 이용한 MNIST에 대한 실험을 반복 하였다. 비 지도 학습의 단계에서 60,000 개의 전체 학습 이미지는 특징 추출에 사용되었다. 지도학습의 단계에서는 50,000 개의 샘플은 학습에, 10,000 개의 샘플은 검증을 위한 것으로 나누어 졌다. 그 결과로 가중치 감소항을 포함한 BAM에서 최소 오차는 1.53으로 가중치 감소항을 포함한 AE의 최소 오차인 1.68보다 낮게 나왔다. 이 모델이 노이즈에 견고하도록 하기 위하여 낮은 민감도의 오토인코더(Low sensitive Auto-encoder) 또한 도입을 하였다. 이러한 BAM의 새로운 접근방법을 조합하여 테스트 오차율은 1.48호 낮아지게 되었다. 비록 이 결과들이 추숙성 자동 인코더(Contractive Auto-encoder)의 최고 오차인 1.14에 비해 좋지 못하지만 다른 매개변수, 즉 매 단계의 학습에서 가려진 중요한 오차나 가중치 감소 항의 강도를 다르게 설정함으로써 향상될 수 있다. 추후 응용으로는 제시된 BAM 방법을 더 강도 높은 문제에 적용할 수 있다. 더욱 복잡한 데이터에 대해서 BAM의 강점이 더욱 강하게 입증될 수 있을 것이라 기대한다.
