An analog neurochip for nonholonomic independent component analysis (ICA) is de-signed under subthreshold operation. In order to incorporate the offsets due to device mismatches, modified algorithm using 2-quadrant multipliers and conventional biases is pro-posed. The proposed methods enhance the capability of the neural network strongly even in the presence of device mismatches.
Analog approach which uses a massively parallel collective processing is best for implementation of neuromorphic system. But the crucial disadvantage is that analog circuitries are very susceptible to process variations. So some analog VLSI implementation for ICA, which is a highly attractive algorithm for signal processing, shows just preliminary results only for toy problems because they are easily affected by convergence problems, restricted dynamic ranges, and offset effects.
So a new implementation for ICA, less subject to fabrication variation, has significance. For that, we propose two offset- tolerant enhancement learning methods. The one is to use a 2-quadrant multiplier for computing of updated weight values because it is more robust to backward-offsets than a 4-quadrant multiplier. The second is to compensate forward-offsets by conventional biases. Although the biases can not compensate the offsets at each iteration, in an expectation sense they can successfully compensate the offsets. The modified nonholonomic ICA algorithm, which uses 2-quadrant multipliers and extra biases, shows remarkable enhancements in both of convergence and offset tolerance. The proposed methods are very simple and automatically adjustable, so they are very appropriate to implementations of analog neural networks.
The fabricated chips are tested with speech and sinusoidal mixtures. Test results for two women's voices demonstrate that the neurochip successfully can separate the mixture by more than 10dB in a view of SNR. For a sub-Gaussian problem, it can enhance spectral powers of original signals from a sinusoidal mixture by maximum 14.7dB.
본 논문은 암묵신호분리를 위한 독립요소분석기법(ICA)을 전용 아날로그 하드웨어로 구현하는 것을 목표로 한다. 디지털 시스템으로 해결할 수 없는 인식과 추론에 관한 문제를 풀기 위해 신경모형공학(Neuromorphic System Engineering)이 활발히 연구되고 있는데, 그 중 대표적인 것이 아날로그 신경회로망이다. 본 논문에서는 근래에 신호처리 분야에서 각광받고 있는 독립요소분석기법을 초저전력 아날로그 신경회로망을 통해 구현하는 방법을 소개한다.
최초의 독립요소분석기법 전용 아날로그 칩은 Cohen등에 의해 개발된 Herault-Jutten 알고리즘을 바탕으로 한 것이지만 그 수렴성이 좋지 않아 응용분야가 극히 제한적이었다. 그 후 Sejnowski등에 위해 제안된 최대엔트로피 기법을 Cho등이 아날로그 칩으로 구현하였다. 이 경우 기존의 Herault-Jutten 알고리즘보다 수렴성이 좋으나 하드웨어로 구현하는데 있어서 발생하는 옵셋 문제를 고려하지 않아 그 성능이 좋지 않았으며, 음성신호에 대해 고작 6dB정도의 분리성능을 얻는데 그쳤다.
본 논문에서는, 기존의 알고리즘보다 훨씬 수렴성이 좋고 신호의 동작범위가 적어 아날로그 하드웨어로 구현하는데 적합한 nonholonomic ICA를 채택하였으며, 회로의 부정합으로 인해 발생하는 옵셋 문제를 해결하기 위해 두 가지 방법을 제안한다. 두 가지 보상 방법을 통해 실제 환경에서 발생하는 정도의 옵셋이 존재하더라도 10dB이상의 분리성능을 얻을 수 있음을 통계적인 모의실험으로 확인할 수 있었다.
첫째로 가중치를 학습하는데 있어서 기존의 사사분 아날로그 곱셈기 대신 이사분 곱셈기를 사용하는 방법이다. 가중치를 학습하는 회로는 약간의 옵셋도 학습에 큰 영향을 미칠 수 있기 때문에 보다 정밀한 곱셈기가 필요하다. 하지만 신경회로망에서는 이것을 위해 복잡한 보상 회로를 사용할 수 없다. 이사분 곱셈기는 부정합 변수가 한 개만 존재하므로 부정합 변수가 세 개인 사사분 곱셈기에 비해 옵셋에 보다 강인하다. 이 이사분 곱셈기를 사용하기 위해서는 곱셈기에 들어오는 두 입력 신호 중 어느 한 쪽은 양의 값만 가져야 하는데, 이것을 위해 입력신호의 통계적 특성을 이용하여 최종 출력의 양의 값만을 사용하도록 하는 변형된 알고리즘을 제안하였다.
두 번째 방법은 신경회로망에 바이어스(bias)를 추가하는 것이다. 바이어스는 신경회로망에서 학습을 위해 많이 사용되고 있으나 이것이 옵셋을 자동적으로 보상해 주는 효과가 있음을 이 논문에서는 보여주고 있다. 출력을 계산하는 곱셈기는 반드시 사사분 곱셈기를 써야하므로 필연적으로 옵셋이 발생하게된다. 이 옵셋은 입력과 가중치의 함수이기 때문에 학습과정 마다 보상해 주기는 쉽지 않다. 본 논문은 매 학습 시간마다 보상해 주는 것이 아니라 기댓값의 관점에서 보상해주는 방법을 제안하였다. 즉, 학습이 어느 정도 이루어지면 가중치는 특정한 값에 수렴하게 되고 입력신호의 기댓값이 '영'이라고 가정하면 출력 옵셋들은 결국 하나의 변수로 수렴한다. 따라서 추가된 바이어스가 이 옵셋 변수를 상쇄하도록 학습함으로써 출력 옵셋을 제거할 수 있는 것이다.
설계된 칩은 AMS 0.35 um 공정을 통해 제작되었으며 3.5mm×3.5mm 의 크기이다. 8개의 채널을 갖는 시스템과 3개의 채널을 갖는 시스템으로 구성되어 있으며, 전력소모를 줄이기 핵심 회로들은 모두 문턱치이하(sub-threshold)의 영역에서 동작하도록 되어 있다. 제작된 칩을 실제 음성신호에 적용한 결과 두 개의 입력일 경우 약 10dB 정도의 분리성능을 얻을 수 있었고, 세 개의 정현파를 혼합시킨 입력에 대해서는 최대 14.7dB의 분리성능을 보여주었다.
