In this dissertation, we propose a novel concept termed independent vector analysis (IVA) as an extension of independent component analysis (ICA) to multidimensional approach. IVA can be considered as an ICA problem where both source and observation signals are multivariate, thus, the components (sources) are vector sequences (random vectors). In the formulation, we assume the elements of a source vector are dependent, although each source vector itself is independent of the other source vectors. To measure dependence between vectors, we discuss some objective functions such as vector correlation and vector mutual information, where vector correlation can be defined by total covariance matrix and covariance matrices of individual sources, and vector mutual information can be defined by Kullback-Leibler divergence (KLD) between total joint probability and the product of marginal probabilities. We then derive a class of algorithms, which are similar to and slightly different from ordinary ICA algorithms, but have some interesting properties. In the algorithm, multivariate score functions caused by vector dependency models are defined. Here we propose vector density models that have dependencies, i.e. correlation and a kind of variance dependency, within a source vector. Then, we discuss some information-theoretic view of IVA and its objective functions. The simulation results show that the proposed model and algorithms successfully recovers the latent components. In most cases, IVA outperforms ICA. Even in the case that the components have Gaussian distributions, IVA is able to estimate the original sources, where ICA does not work properly. Additionally, IVA does not cause any permutation ambiguities between elements of source vectors.
As an application of IVA, we suggest blind source separation (BSS) of convolutive mixtures. BSS is a challenging problem in real world environments where sources are time delayed and convolved. The problem becomes more difficult in very reverberant conditions, with an increasing number of sources, and geometric configurations of the sources such that finding directionality is not sufficient for source separation. We propose our IVA model as a solution of the convolutive BSS problem. In the frequency domain, the convolution operation can be replaced by multiplication. Thus, the IVA model exactly matches this problem, except that the sources and observed signals are all complex-valued in the frequency domain. The IVA formulation assumes that dependencies exist between frequency bins instead of defining independence for each frequency bin. In this manner, we are able to achieve better separation performance, and also we are able to avoid the well-known frequency permutation problem. To derive the learning algorithm, we define a objective function as a complex to real function, which is a slight modification of the basic IVA model proposed in the dissertation. By introducing a source vector density that models the inherent frequency dependencies, we obtain a simple form of a multivariate score function. In experiments, we generate simulated data with various kinds of sources in various environments. We evaluate the performances and compare it with other well-known algorithms. The results show the proposed algorithm outperforms the others in most cases. The algorithm is also able to accurately recover up to six sources with six microphones in a reverberant room. In this case, we can obtain about 16dB SIR improvement. Similar performance is observed in real conference room recordings with three human speakers reading sentences and one loud speaker playing music.
본 논문에서는 기존의 독립 성분 분석 (independent component analysis, ICA)의 개념을 다변수 성분으로 확장함으로써, 독립 벡터 분석 (independent vector analysis, IVA)이라는 새로운 개념을 제안하였다. 독립 벡터 분석은 각각의 (내재된) 독립 성분과 관측된 신호가 모두 다변수 신호, 즉 벡터 신호인 독립 성분 분석 문제로 간주될 수 있다. 독립 벡터 분석 모델에서 각각의 소스 벡터들은 서로 다른 소스 벡터들과 확률적으로 독립이라고 가정되어 있는 반면, 각 소스 벡터 내부의 성분들은 서로 확률적으로 독립이 아니고 서로 연관되어 있다고 가정하였다. 이러한 가정에 의하면 벡터 상관도 (vector correlation)와 벡터 상호 정보 (vector mutual information)를 정의하여 벡터 확률 변수들 사이의 독립 정도를 목표 함수로 사용할 수 있다. 여기서 벡터 상관도는 전체 성분들의 상호분산 행렬과 성분 벡터들 각각의 상호분산 행렬들로써 정의 되며, 벡터 상호 정보는 성분들의 전체 확률분포와 각 성분 벡터들의 확률분포 간의 Kullback-Leibler divergence로 정의 된다. 이렇게 정의 된 목표 함수를 이용하여, 몇 가지의 알고리즘을 유도해 보면, 그것은 기존의 독립 성분 분석에서 사용되는 것과 상당히 유사하지만 약간 다르다는 것이 흥미롭다. 알고리즘 상에서 벡터 확률 분포에 의해서 야기되는 함수를 다변수 점수 함수라 정의 하였다. 독립 성분 분석에서도 알고리즘 상에서 어떤 비선형 함수인 점수 함수가 존재하는데, 독립 벡터 분석에서는 이 점수 함수가 다변수 함수라는 것이 근본적으로 독립 성분 분석과 다르다. 점수 함수가 다변수 함수로 나타나기 위해서는 벡터 확률 분포 함수가 각 독립 벡터의 성분들이 의존성을 가지는 형태이어야 한다. 그리고 이러한 독립 벡터 분석의 목표 함수를 정보 이론상의 관점에서도 분석 하였다. 모의 실험의 결과에서는 제안된 독립 벡터 분석의 모델과 알고리즘이 성공적으로 독립 성분 벡터들을 분리해 낼 수 있음을 보여준다. 대부분의 경우에서 독립 벡터 분석의 성능은 독립 성분 분석의 성능을 능가하였으며 독립 성분 분석이 동작하지 않는 경우인 정규분포 (Gaussian) 성분도 분리해 낼 수 있음을 보여준다. 또한 독립 성분 분석을 이용했을때 생기는 각 독립 벡터 내 성분들의 순서 교환 (permutation) 문제가 발행하지 않는다.
독립 벡터 분석의 한 가지 응용으로 콘볼루티브 암묵 신호 분리 (convolutive blind source separation) 문제가 고려될 수 있다. 암묵 신호 분리는 그 동안 많은 방법들이 제안되어 있으나 실제 환경과 같이 신호들이 시간 지연과 콘볼루션 (convolution)이 있는 경우에는 아직 어려운 문제이다. 특히 이 문제는 시간지 연과 콘볼루션이 매우 길다던지 신호의 갯수가 늘어나거나 신호의 발생위치가 가까이 있다던지 하는 경우에는 더욱 더 어려워 진다. 본 논문에서는 독립 벡터 분석을 이러한 콘볼루티브 암묵 신호 분리의 방법으로 제안하였다. 시간 영역의 신호를 주파수 영역으로 변환 하게 되면, 콘볼루션 연산은 각 주파수에서의 곱셈으로 대치 될 수 있는데 이러한 모델은 주파수 영역의 성분들이 모두 복소 변수라는 점이 다를 뿐, 독립 벡터 분석의 모델과 일치한다. 또한 독립 벡터 분석에서는 각 벡터 신호 내의 성분들이 서로 종속적인 것을 가정하는데, 실제 대부분의 자연 신호들은 주파수 영역으로 변환했을 때 각 주파수 성분들끼리 어떠한 형태로든 종속적이다, 왜냐하면 그것들이 하나의 시간영역 신호에서 변환되어서 나온 신호들이기 때문이다. 그러므로 독립 벡터 분석의 모델에서 종속성은 한 신호 내부의 주파수 성분들 간의 종속성으로 정의하고, 제안된 알고리즘은 각 신호의 내부에서는 이것이 유지되게 하지만, 서로 다른 신호들끼리는 서로 독립이 되도록 한다. 이러한 방법으로 신호 분리 성능을 더 높일 수 있다. 또한, 각 소스내의 주파수 성분들이 서로 섞이는 순서 교환 문제가 주파수 영역 암묵 신호 분리에서 가장 해결하기 어려운 문제인데 독립 벡터 분석을 이용함으로써 이를 사전에 방지 할 수 있다. 복소 변수에 대한 목표함수를 정의하고 알고리즘을 유도하면 실변수에 대한 독립 벡터 분석과 유사한 알고리즘이 얻어지며, 여기서 아주 간단한 다변수 점수 함수만 정의하면 된다. 모의실험에서는 다양한 소리 신호들을 실제와 흡사한 다양한 환경에서 섞어 이것을 분리한 후 잘 알려진 다른 방법들과 성능을 비교하였다. 본 논문에서 제안된 독립 벡터 분석을 이용한 방법이 대부분의 경우에 다른 방법들을 능가했으며, 독립 신호와 관측된 신호의 갯수가 각각 여섯 개인 여려운 경우에서도 약 16dB 신호대 간섭 비율 (SIR)의 향상을 얻을 수 있었다. 또한 실제로 세 사람이 이야기를 하고 하나의 스피커에서 음악이 나오는 경우에 이 소리들을 분리하여 모의실험의 결과와 비슷한 성능을 얻을 수 있었다.
