Although analog circuits provide attractive features in implementing neural network, most analog implementations have been restricted to forward computations only. Since most of computations occur in learning, learning should be incorporated in hardware implementations for truly fast neural hardware. In this thesis, a subthreshold analog circuits for MOS implementation of artificial neural networks is presented with on-chip learning capability. The subthreshold operation provides low power consumption and the chip implements both backpropagation learning and Hebbian learning. All the circuits incorporate modular architecture, and are designed to increase numbers of neurons and layers with pin-to-pin connections of multiple chips.
Previous researchers pointed out that backpropagation learning can overcome several nonidealities of analog hardware but offsets still remains to be a problem. In order to know the effect of multiplier offsets on on-chip learning hardware, a systematic offset analysis is done. The offset analysis shows that offsets cause many phenomena such as output static errors, weight-drift, variable errors dependent upon input training patterns, premature output saturation, etc. Simulation results show these phenomena well. Due to the offset analysis a deeper understanding of practical analog on-chip learning hardwares has been obtained. The offset analysis also provide guidelines determining target values and initial weight values to obtain desired outputs.
A neuro system consisting of the neuro-chips, personal computer, and an interface control logic is integrated. The fabricated chips are measured and tested in several ways to know their characteristics and learning performances. Some experimental results are compared with the offset analysis, and demonstrate good agreements.
신경회로망의 구현에 있어 아날로그회로는 많은 장점을 제공한다. 그러나, 현재 대부분의 아날로그 신경회로망 칩 구현은 신호의 순방향 전달만을 구현하는 데에 국한되어졌다. 대부분의 계산이 학습과정에 소요되는 점을 고려한다면 학습기능까지도 하드웨어로 구현하는 것이 고속의 신경회로망 하드웨어의 필수요건이라 할 것이다. 따라서, 이 논문에서는 학습능력을 가지는 아날로그 신경회로망 칩을 제안하고 구현한다. 제안된 칩은 MOS의 subthreshold 영역에서 동작되도록 설계되어 전력소모가 적고 오차역전파 알고리즘과 Hebb의 학습법칙을 동시에 구현하고 있다. 모듈구조의 회로설계를 통하여 시스템의 크기를 쉽게 확장할 수 있고, 또한, 구현되는 뉴런 및 층의 수를 직접 칩 연결을 통해 가변할 수 있다.
아날로그 회로로 학습기능이 있는 신경회로망 하드웨어를 만들었을 경우에 아날로그 회로의 오프셋, 제한된 동작영역, 잡음, 누설전류에 의한 연결강도의 감소등이 학습능력에 미치는 영향을 연구한 기존의 연구결과에 따르면 아날로그 회로에 존재하는 이러한 대부분의 부가요소들이 오차역전파 학습 알고리즘에 의해 보정, 극복될 수 있으나 곱셈기에 존재하는 오프셋은 칩의 학습성능에 심각한 영향을 끼친다. 그럼에도 불구하고 오프셋이 칩의 학습에 영향을 주는 방식이나 정도에 대한 체계적인 분석이 미흡하였으며 본 논문에서 이에 대한 새로운 해석방법을 제안하였다. 이 해석에 의해 곱셈기에 존재하는 오프셋이 다음과 같은 현상들을 유발한다는 사실을 알게 되었다. 즉, 학습완료 후에도 오차가 남게 되며, 연결강도의 값이 학습의 종료 후에도 일정한 비율로 움직이게 되는 현상, 그리고 오차의 값이 입력측 학습패턴에 의존하는 현상이 나타난다. 또한, 목표값이 출력가능 영역 내에 있음에도 불구하고 극한치로 수렴하게 되는 조기포화 현상이 나타나고, 출력값의 초기치에 따라 수렴여부가 결정되는 등의 현상이 나타난다. 이러한 현상들이 결합되어 아날로그 학습회로의 전체적인 학습능력 감소를 초래하게 된다. 시뮬레이션으로 이러한 현상들이 나타남을 확인하였다. 오프셋 분석을 통해 오프셋이 실제 아날로그 학습 뉴로칩의 학습에 영향을 미치는 방식과 그 정도를 이해하고 예견하는 것이 가능해졌으며 또한 원하는 출력을 얻을 수 있도록 목표값과 초기 조건을 정하는 문제에 오프셋 분석 결과를 활용할 수 있다.
신경회로망 칩, PC, 그리고 인터페이스 로직으로 이루어진 신경회로망 시스템이 구성되었으며 구현된 칩의 특성측정과 학습능력이 실험되었다. 오프셋 분석에서 예견된 현상을 확인하기 위한 실험들이 행해졌으며 분석 내용과 일치하는 결과를 보였다.
