The principal aim of `Prediction Engine` is to develop autonomous scalable neural networks running on distributed and parallelized computer systems and to introduce some heuristic means of scaling the capacity of a Human-brain mimicking algorithm called "Helmholtz machine" online rather than during cross-validation. Helmholtz Machine (HM) is an unsupervised learning algorithm which models brain based on the (Helmholtz) free energy principle. On top of HM, we proposed a new architecture called
Helmholtz Machine with Autonomous Scalability (HMAS) and implemented this machine into a scalable embedded cluster system based on Message Passing Interface (MPI) framework. HMAS changes its computational resources with respect to different problem complexity in real-time by employing two methods: Moving average filter method or Ratio of marginal free energy method. To implement HMAS on neuromorphic hardware, we need to solve many practical issues such as limited bandwidth problem, synchronization and load balancing, hierarchical delay and so on. We present methods to solve these problems in order to obtain high connectivity and fexibility simultaneously. This fexibility in problem complexity effectively prevents under-fitting and over-fitting problems in neural networks and increases learning efficiency. The results of our studies suggest that HMAS better minimizes free energies than the original HM where any information of problem such as complexity or underlying probabilistic distribution is unknown, by scaling its own architecture up properly.
`예측기계`의 목표는 분산 병렬처리 컴퓨터 시스템 상에서 동작하는 자동 규모 확장가능한 신경회로망을 개발하며, 인간의 뇌의 동작을 모방한 알고리즘인 ``헬름홀츠 기계``의 규모를 교차 검증법 (cross-validation)이 아닌 실시간으로 규정할 수 있는 휴리스틱 알고리즘들을 제안하는 것이다. 헬름홀츠 기계(Helmholtz machine)는 자율학습 알고리즘의 하나로 (헬름홀츠) 자유 에너지 최소화 원리를 기반으로 한 뇌 모방 모델을 기반으로 한다. 기존의 헬름홀츠 기계는 입력의 복잡도가 기계가 다룰 수 있는 문제의 복잡도보다 높게 될 때 더 이상 자유 에너지를 낮출 수 없게되고 학습 효율이 떨어지는 한계가 있다. 이러한 헬름홀츠 기계를 바탕으로 자동규모확장 가능한 새로운 구조인 Helmholtz Machine with Autonomous Scalability (HMAS)를 제안하고, 이 기계를 메시지 전달 인터페이스(Message Passing Interface, MPI)를 이용하여 규모 확장 가능한 임베디드 클러스터 시스템 상에 구현했다. HMAS는 이동평균필터 방법과 한계 자유에너지 방법 등을 사용하여 주어진 입력의 복잡도에 따라 자신의 계산 자원의 규모를 변화시키게 된다. 이러한 HMAS를 실제 하드웨어에 구현하게 될 때 제한된 대역폭, 각 연산 노드간 동기화 문제 및 부하 분산, 그리고 계층간 시간 지연 등의 문제가 발생하게 된다. 우리는 상기 문제들을 해결함과 동시에 연산 노드들의 연결과 해제가 유연한 구조를 만들기 위해 신경모방 방법을 통하여 해결하는 방법들을 제시한다. 이러한 유연성은 신경회로망의 과적합 문제를 효과적으로 해결하면서 동시에 학습 효율을 높였다. HMAS는 입력의 복잡도에 따라 자신의 규모를 조정해나가면서 기존의 헬름홀츠 기계가 규모의 한계로 학습의 제한이 생길때 규모 확장을 통해 극복하고 더 높은 학습 효율을 보이는 것을 확인할 수 있었다.