Recently neural networks, known as good universal approximators, have been widely used as a powerful computational tool to effectively learn unknown nonlinear functions. Developement of neural networks comes from an attractive idea that complex solutions can be obtained from learning with input-output data rather than explicit programming; this has made neural networks emerge rapidly as a candidate for solving the complex problems. Due to such characteristics, interest in the neural-based applications for signal processing has increased dramatically.
This paper deals with a signal processing for the blind signal separation. Blind signal separation (BSS) is based on information theory. The purpose of BSS is to extract statistically independent signals from the observed signals without knowing how the sources are mixed. Based on information theoretic concepts, there are two major approaches for blind separation: Maximum Entropy (ME) and Minimum Mutual Information (MMI) or Independent Component Analysis (ICA). In this paper, we use MMI for the signal separation.
BSS has become a highly popular research topic due to its potential applications in data communications, speech/image recognition and identification problems, analysis of biomedical signals such as electroencephalographic (EEG), electrocardiogram (ECG), and so on.
This paper is composed of 5 chapters. The basic concept for the blind signal separation and neural networks is expained in Chapters 1 and 2. Three new algorithms and a new expansion are proposed in Chapter 3 to effectively deal with the blind signal separation problem. And their additional explanations are in Appendices A, B and C.
When we solve the BSS problem with MMI or ICA, we need to know the marginal entropy of the output signals and the joint entropy. For a given ICA, the first proposed algorithm in Chapter 3 deals with the contradiction of the previous work and its improvement. It can be done by considering the normalized output signals. In the previous learning algorithm, they applied normalized output to the sum of the marginal entropy term in the MMI equation and they did not applied to the joint entropy term. We have to be consistent to apply the normalized output signals to each equation in the MMI learning algorithm. For that reason, I adapt normalized outputs to all components in the MMI learning algorithm, and I devise new learning rule. It is the first proposed learning algorithm.
The linear mixture model is assumed in most of the papers devoted to Independent Component Analysis (ICA). A more realistic model for mixture should be nonlinear. There have been studies on signal separation for the nonlinearly mixed signals when the dimension of the hidden layer is equal to the dimension of the input layer. When we cannot solve the problem with that structure, we enlarge the dimension of the hidden layer. An algorithm for that condition, has not yet been proposed. For that reason, we devise a new algorithm for the case in which the number of hidden neurons is larger than the number of input neurons. It is the second proposed learning algorithm in Chapter 3. When the input signals are severely distorted, it is not enough to solve the problem with one hidden layered structure. In order to deal with that problem, we derive a new algorithm for the two hidden layered structures which can have a larger dimension than the input layer. It is the third proposed algorithm in Chapter 3. The simulation results are in Chapter 4. These show that the proposed algorithms are very effective. Finally, the conclusions are made in Chapter 5.
최근에 신경 회로망의 학습을 통한 함수 근사화 능력이 수학적으로 보장되면서 기존의 수학적 접근 방법으로는 그 성능 향상에 한계가 있는 여러 분야에 성공적으로 적용되었다. 본 논문은 이러한 신경망의 학습 능력을 이용하여 미지신호 분리에 관한 여러 가지 문제를 다룬다. 미지신호 처리는 무선통신이나 음성/영상 신호 처리 또는 뇌전도나 심전도 같은 생 의학 신호 해석등에의 넓은 응용에 대한 잠재력으로 최근 들어 많은 관심을 끌고 있는 분야이다. 미지신호 처리란 원 신호가 어떤 상태로 섞여서 수신되었는지에 대한 정보를 모르는 상태에서 원 신호를 추출해 내는 것을 말한다. 이러한 미지신호 처리는 정보이론을 바탕으로 이루어진다. 이 논문에서는 정보이론에 바탕을 둔 상호정보 최소화와 신경회로망을 이용하여 수신된 미지신호로부터 통계적으로 독립적인 신호를 추출해 내는 것을 목적으로 한다. 본 논문은 신경망의 학습 능력과 상호정보 최소화를 이용한 미지신호 분리를 수행하기위한 세 가지 새로운 학습 방법을 제안하였다. 또한 온-라인 학습 시 출력신호의 마지널 엔트로피 근사화에 필요한 새로운 전개를 제안하였다.
본 논문은 크게 5 chapter로 구성되었다. 우선 서론 부분에서 미지신호 처리에 관한 기본 개념인 정보이론과 미지신호 처리의 접근 방법들에 대하여 설명한 후 2장에서는 신경회로망의 기본개념에 대하여 논하였다. 3 장에서는 새로이 제안되는 여러 알고리즘과 전개가 논의되었고, 4장에서는 제안된 알고리즘과 기존의 알고리즘에 대한 비교를 여러 측면에서 검토하였다. 또한, 제안된 알로리즘의 효과에 대하여 여러 실험을 통하여 증명하였다. 마지막으로 5장에서는 본 연구에 대한 결론을 실었다.
제안된 세 가지 알고리즘과 전개에 대한 간략한 설명은 다음과 같다. 우선 제안된 전개에 대하여 말하면 다음과 같다. 기존에 출력신호의 마지널 엔트로피의 근사화에 사용되던 방법은 truncated Gram-Charlier 전개 또는 truncated Edgeworth 전개였다. truncated Gram-Charlier 전개는 kurtosis의 3승으로 신호의 super-gaussian이나 sub-gaussian 의 분리에 중점을 두었다고 할 수 있다. truncated Edgeworth 전개는 skewness 의 4승으로 비대칭 신호의 분리에 중점을 두었다고 할 수 있다. 제안된 방법은 kurtosis 의 3승 항과 skewness 의 4승 항이 모두 중요한 역할을 하게 함으로써 super-gaussian 또는 sub-gaussian, 그리고 비대칭성을 가진 신호 모두에 대하여 마지널 엔트로피 근사화를 최대화 함에 따라 신호분리의 성능을 높인 방법이다. 또한 학습속도나 안정도 면에 있어서도 기존 전개들에 비하여 더 빠른 학습속도를 가지고, 학습변화율에 안정한 장점을 가지고 있다.
제안된 3가지 알고리즘 중에서 첫 번째 알고리즘은 다음과 같다. Neural Computation, 1997 에 발표 되었던 Yang and Amari[10]의 연구 논문에서는 상호정보 최소화를 이용한 신호분리의 내용에 있어서, 출력신호의 마지널 엔트로피의 근사화식에는 정규화 된 출력신호를 사용하고, 복합엔트로피의 식에서는 정규화 시키지 않은 신호를 사용함으로써 오차가 존재하였다. 일관적으로 정규화 된 신호를 사용하던지 아니면 정규화 시키지 않은 원래 출력신호를 사용하는 식으로 일관되도록 마지널 엔트로피와 복합엔트로피에 출력신호가 이용되었어야 한다. 이로 인하여 생긴 오차는 어떤 방법으로라도 학습이 되지 않음을 알 수 있다. 즉 batch 형으로의 신경회로망을 학습시키거나, pattern 형으로 학습시켜 보았을 경우 아예 학습이 되지 않거나, 아니면 성능측도에 있어서 큰 오차를 가진다. 새로이 제안된 알고리즘은 일관되게 정규화 된 출력 신호를 상호정보 최소화를 이용한 신호처리 알고리즘에 적용함으로써 이러한 오차를 없앴다는데 그 의의가 있다.
첫 번째 제안된 알고리즘을 바탕으로 고안된 두 번째 알고리즘은 다음과 같다. 수신된 신호가 심하게 변형된 형태로 수신되었다고 할 때, 신호분리 구조에 있어서 선형적 신호분리 구조는 충분히 그 수신된 신호를 분리하지 못한다. 이럴 경우 우리는 은닉 층을 신호분리 구조에 추가한 형태로 그 문제를 풀 수 있다. 지금까지는 입력 층, 은닉 층 그리고 출력 층의 신호분리 구조에 대한 알고리즘이 발표되있는 상태이기는 하나, 은닉 층의 차원이 입력 층의 차원과 같을 경우에만 적용할 수 있도록 되어있다. 만약 우리가 기존의 구조 즉 입력뉴런, 은닉뉴런 그리고 출력뉴런의 수가 모두 같은 경우로도 문제가 풀리지 않는다면 우리는 은닉뉴런의 수를 증가 시켜 가며 수신된 신호 분리에 적합한 신호분리 구조를 찾아가야 한다. 이러한 면에서 기존의 제한된 구조는 분리된 신호의 정밀도가 떨어진다고 볼 수 있다. 이에 반하여 제안된 두 번째 알고리즘은 은닉뉴런의 수를 증가 시켜가며 신호분리 문제를 풀 수 있도록 한 알고리즘이므로 기존의 방법에 비하여 적합한 신호 분리 구조를 찾기에 유리하며, 분리된 신호의 정밀도를 높일 수 있다.
첫 번째 제안된 알고리즘을 바탕으로 하여 고안된 세 번째 알고리즘은 다음과 같다. 각 층마다 충분한 뉴런이 주어졌다는 가정 하에, 임의의 정확도로 임의의 함수를 근사화 하고자 할 때, 2개의 은닉 층만이 있으면 가능하다는 연구결과 (Cybenko, 1988[15])에 따라 세 번째 알고리즘은 일반적으로 신호분리 문제를 풀 수 있도록 하기 위하여 제안되었다. 수신된 신호가 선형적 신호분리 구조나 은닉 층을 하나 둔 구조로도 풀 수 없을 만큼 비선형적 특성을 가지고 왜곡된 신호였다면, 지금 이 알고리즘을 통하여 그 분리를 시도해 볼 수 있다.
제안된 각 방법들은 실험을 통하여 그 필요성과 성능이 증명되었다.