This study proposes a method for simultaneous localization of multiple sound sources using multiple spherical microphone arrays. The conventional direction of arrival (DoA) estimation technique, such as VEB-ESPRIT (Vector-based Eigen-Beam ESPRIT), is designed for a single sound source and microphone array, and DoAs estimated from multiple arrays need to be paired to determine unique positions of sound sources in 3D space. However, when multiple sources are present in a sound field, the pairing or association of DoAs from individual sound sources produces ghost sources at the intersection of DoAs from different sources. This association problem is problematic especially for noisy or inaccurate DoA estimations.
In this study, to resolve the association problem fundamentally, the MEB-ESPRIT (Multi-array Eigen-Beam ESPRIT) method is developed, which considers the geometric relation between multiple spherical microphone arrays and estimated sound sources from the DoA estimation step. To analyze the spatial relationship between all arrays, the total covariance matrix is exploited, which includes both the auto- and cross-covariance matrices of multiple arrays. The unique signal subspace eigenvectors common to all arrays are estimated from the total covariance matrix, and DoAs can also be estimated from the signal subspace eigenvectors and recurrence relations of spherical harmonics. Since the common signal subspace is utilized, DoAs can be predicted in the same order for all arrays without the association problem.
The problem of predicting DoAs from the recurrence relations of the spherical harmonics is expressed in the form of the generalized eigenvalue decomposition (GEVD). For multiple spherical microphone arrays, however, the signal subspace eigenvectors are partitioned to multiple matrices, and multiple GEVDs should be carried out for the partitioned multiple matrices. Finding a common eigenvector diagonalizing multiple matrices at the same time is a difficult task. To this end, a new generalized joint eigenvalue decomposition technique is proposed. The proposed method is based on the JSD (Joint Schur Decomposition) technique that simultaneously upper-diagonalizes multiple eigenmatrices and solves multiple eigenvalue problems through iterations. The proposed technique extends JSD for joint GEVD and can find DoAs even when noise subspace vectors are included in the estimated signal subspace or when the estimated signal subspace matrix is rank-deficient. This is possible by incorporating geometric projection inside the iteration process, which enables accurate sound source localization by considering the 3D positional relationship between multiple arrays and sound source. As a result of evaluating the proposed MEB-ESPRIT method for various conditions and environments such as various SNRs, the types and the number of assumed sound sources, reverberation time, and frequencies, the proposed method shows superior localization performance and robustness compared to the ideal VEB-ESPRIT method assuming that the sound sources are perfectly classified.
본 학위논문에서는 다중 구형 마이크로폰 어레이를 이용한 다중 음원의 동시 위치 추정기법을 제시한다. 기존의 단일 마이크로폰을 사용한 음원의 입사 방향 추정 기법인 VEB-ESPRIT (Vector-based Eigen-Beam ESPRIT)을 각각의 구형 어레이에 적용할 경우, 각 어레이 위치에서의 음원 입사 방향을 추정하게 되며, 모든 어레이에서 추정한 입사 방향이 한 점에서 교차하는 특징을 이용해 3차원 상의 위치를 결정하게 된다. 이 때, 각 어레이로부터 추정된 입사 방향들을 동일한 음원에 해당하는 것들끼리 연관 혹은 분류해 주어야 3차원 상의 위치를 결정할 수 있는 연관 문제(association problem)가 발생하게 되는데, 각 어레이로부터 발생하는 방향 추정 오차로 인해 다수의 허 교차점들이 다수 발생하는 등의 어려움이 있다.
본 연구에서는 연관 문제를 근본적으로 해결하기 위하여, 방향 추정 단계에서부터 모든 어레이의 위치 및 추정 음원의 3차원 상의 연관성을 고려하는 MEB-ESPRIT (Multi-array Eigen-Beam ESPRIT) 기법을 제시한다. 모든 어레이 간의 공간 관계를 분석하기 위하여, 각 마이크 어레이의 자기 공분산 및 다른 어레이 간의 교차 공분산 성분을 포함하는 총 공분산 행렬을 활용한다. 총 공분산 행렬로부터 모든 어레이에 공통된 신호 공간의 고유 행렬을 추정하며, 추정된 신호 공간 고유 행렬이 구형 조화 함수의 점화식을 만족해야 하는 조건으로부터 음원의 방향을 예측할 수 있다. 공통된 신호 공간을 사용하므로 모든 어레이에 대하여 동일한 순서로 음원의 방향 예측이 가능하여, 음원의 연관 문제없이 3차원 위치 추정이 가능해진다.
구형 조화 함수의 점화식으로부터 음원의 방향을 예측하는 문제는, 신호 공간의 고유 행렬에 대한 일반화 고유치 문제(generalized eigenvalue problem)로부터 고유치를 구하는 형태로 표현된다. 본 연구에서 다루는 다중 구형 어레이에 대해서는, 각 마이크로폰 어레이에 대해 신호 공간 행렬을 분할한 후, 여러 개의 일반화 고유치 문제의 공통된 고유 행렬을 동시 추정해야 하는 어려움이 있다. 이를 위해 본 연구에서는 새로운 동시 일반화 고유치 추정 (generalized joint eigenvalue decomposition) 기법을 제안한다. 제안된 기법은 동시 슈어 분해(Joint Schur Decomposition)에 기반하여 여러 고유 행렬을 동시에 상위 대각 행렬화 하는 iteration 기법으로, 신호 공간에 잡음 공간 성분이 유입되거나 신호 공간 고유 행렬이 rank deficient한 경우에 대해서도 기하학적 투영 기법을 적용하여 각 어레이와 음원의 3차원 위치 관계를 통해 정확한 음상 정위가 가능하게 한다. 제안한 MEB-ESPRIT 방식을 다양한 SNR, 가정한 음원의 종류 및 개수, 잔향 조건, 주파수 등 여러 조건과 환경에 대해 평가한 결과, 제안 방식이 완벽하게 음원이 분류된 것을 가정한 이상적인 VEB-ESPRIT 기법에 비해서도 우수한 위치 추정 성능과 강건성을 가지고 있음을 검증하였다.
