Classical Blind Source Separation (BSS) methods such as Minimization of Mutual Information (MMI) and Maximization of Entropy (ME or Infomax) show poor performance for super-gaussian signals, due to the inaccurate pdf approximation and assumption and for nonlinearly mixed signals.
In this thesis we propose a novel BSS method, named NeuroRADICAL. NeuroRADICAL uses a self-organizing neural network as the demixer. Thus it can determine the size of the network automatically, and escape from bad local minima. And it can be applied to nonlinear BSS problems, using the capability of universal approximation of neural network.
NeuroRADICAL adopts a direct entropy estimator based on sample-spacings in order to compute the mutual information of demixed signals. Because the direct entropy estimator gives more accurate approximation of the pdf even for the super-gaussian signal, NeuroRADICAL can show good performance in separating super-gaussian signals as well as sub-gaussian signals. As a optimization method of NeuroRADICAL, we use the BFGS (Broyden-Fletcher-Goldfarb-Shanno) algorithm which is one of the quasi-Newton algorithms. In order to get the gradient information for the BFGS algorithm, we use a fintite difference method from the direct entropy estimator.
It is shown in the simulation experiment that NeuroRADICAL successfully separates both super-gaussian and sub-gaussian signals not only for the linear mixing but also for the nonlinear mixing.
상호정보량 최소화 및 엔트로피 최대화와 같은 기존의 미지신호분리 기법들은, 초정규분포 신호에 대하여 나쁜 분리 성능을 보인다. 이는 부정확한 확률밀도함수 근사화 및 부정확한 가정들, 그리고 혼합 함수의 비선형성 때문이다.
이에 본 논문에서는 NeuroRADICAL이라는 새로운 미지신호분리 기법을 제안한다. NeuroRADICAL은 자기 구성 신경망을 분리기(demixer)로 사용한다. 따라서 NeuroRADICAL은 신경망의 크기를 자동으로 결정할 수 있고, 나쁜 지역 최적해에서 탈출할 수 있다. 또한 신경망의 만능 근사자로서의 특성에 의하여, NeuroRADICAL은 비선형 미지신호분리 문제에도 적용될 수 있다.
분리된 신호의 상호정보량을 계산하기 위하여, NeuroRADICAL에는 표본 간격에 기반한 직접 엔트로피 추정량이 도입되었다. 직접 엔트로피 추정량은 초정규분포 신호에 대해서 확률밀도함수 함수를 더욱 정확하게 근사화하기 때문에, NeuroRADICAL은 부정규분포 신호의 분리 뿐만 아니라 초정규분포 신호의 분리에도 좋은 성능을 보인다. NeuroRADICAL의 최적화 기법으로는 Quasi-Newton 알고리즘의 일종인 BFGS (Broyden-Fletcher-Goldfarb-Shanno) 알고리즘을 사용하였다. 이때 BFGS 알고리즘에서 사용하는 직접 엔트로피 추정량의 경사(gradient) 정보를 얻어내기 위하여, 유한 증분(finite difference) 기법이 쓰였다.
모의 실험 결과에 의하면, NeuroRADICAL은 선형 혼합 및 비선형 혼합의 경우에 있어서 초정규분포 신호와 부정규분포 신호를 모두 성공적으로 분리한다.
