TAG (Training by Adaptive Gain) is a new adaptive learning algorithm developed for optical implementation of large-scale artificial neural networks. For single-layer neural networks with N input and M output neurons TAG contains two different types of interconnections, i.e., MN global fixed interconnections and $\beta$(N + M) adaptive gain controls, where $\beta$ is the number of local interconnectivity. For the same number of input and output neurons TAG requires much less adaptive elements, and provides a possibility for large-scale implementation at some sacrifice in performance as compared to the perceptron. The training algorithm is based on gradient descent and error backpropagation, and is easily extensible to multilayer, and/or high-order architectures. Computer simulation demonstrates reasonable performance of TAG compared to perceptron performance. For large-scale electro-optic implementation the fixed global interconnections may be implemented by multi-facet hologram, volume hologram or ground glass, while the adaptive gains by spatial light modulators (SLMs). The ground glass is more advantageous for random interonnections with much higher diffraction efficiency and interconnection density. Both feed-forward signal and error back-propagation paths are implemented by single ground glass, and adaptive learning has been demonstrated for hetero-associative memory and classifiers. Optical implementation of multi-layer bidirectional memory and inverse scattering application of the TAG model are also included as Appendices.
벡터-행렬 광 곱셈기를 이용하여 신경회로망의 광학적 구현이 Farhat 등에 의해 처음으로 이루어 졌다. 이는 뉴런을 일차원으로 배열해야 하기 때문에 대규모 구현에 적합하지 않으며, 대규모 구현을 위해서는 이차원 입/출력을 갖는 rank-4 ($N^4$) 의 광학적 상호연결 구조가 바람직하다. 랜즈 배열과 공간 광 변조기를 결합하면 $N^4$ 의 적응 광 상호연결을 얻을 수 있다. 그러나, 이러한 구조는 하나의 이차원 공간 광 변조기 상에 $N^4$ 개의 적응요소가 요구되기 때문에 현재의 기술상 대규모 구현의 장애요소가 된다. 또한, 체적 홀로그램을 이용하면 대규모의 적응 광 상호연결을 얻을 수 있지만, 학습 후에 상호연결 값의 고정과 다른 체적 홀로그램으로의 복사가 어려운 단점을 갖고 있다. 반면에, 빛의 파장이 대략 $1\mu{m}$ 일때, 입력 $1000 \times 1000$, 출력 1000 개 의 뉴런을 갖는 시스템, 즉 $10^9$ 정도의 상호연결을 갖는 신경회로망은 $10 \times 10 cm^2$의 면적의 다면 홀로그램으로 비교적 쉽게 구현할 수 있다. 그러나, 다면 홀로그램은 고정 상호연결을 제공하기 때문에 한번 만들어 지면 적응 학습이 불가능한 단점을 갖고 있다. 이러한 단점과 ℃攘÷? 서로 상호 보완적으로 결합하여 탄생된 것이 TAG (Training by Adaptive Gain) 신경회로망 모델이다. M 개의 입력과 N 개의 출력을 갖는 단층 TAG 신경회로망 모델은 두 종류의 다른 상호연결, 즉 MN 의 총체 고정 상호연결 (global fixed interconnections)과 M + N 의 국부 적응 이득 (adaptive local gain controls)으로 이루어 졌다. TAG 모델은 같은 수의 입/출력 뉴런을 갖는 인식자 모델에 비교해 볼때 성능은 떨어지지만 적은 수의 적응 요소를 요구하기 때문에 대규모 구현 가능성을 제공한다. 학습은 오차 역전파 알고리즘에 기초하기 때문에 다층구조 혹은 고차 신경회로망 구조로의 확장이 쉽게 이루어 진다. 구현의 가능성을 검증하기 위해 다면 홀로그램을 이용하여 TAG 모델을 광학적으로 구현했다. 총체 고정 상호연결 값이 랜덤일때, ground glass을 이용하면 높은 회절 효율 및 상호연결 밀도를 가지고 광학적으로 구현할 수 있음을 보였다. 또한, 하나의 ground glass을 가지고 순방향 전달과 오차 역전파 패스를 동시에 구현했다. 다층 양방향 메모리의 광학적 구현과 TAG 모델을 이용한 역산란 문제의 응용이 부록에 포함되었다.
