In this thesis, an improved robust sound source localization (SSL) method based on the arrival time delay estimation is proposed for intelligent service robots. SSL systems estimate an azimuth of the sound source with two or more microphones. Conventional SSL methods are intensity based, time delay of arrival (TDOA)-based, and beamforming ones. Among conventional methods, intensity-based SSL methods usually fail to detect the accurate azimuth mainly because of the microphone gain calibration problem. An SSL method with differenced signals and the GCC-PHAT-based method are typical TDOA based ones. The difference-based SSL algorithm makes a contour by taking the difference between samples before estimating time delays. This one is an effective method when sound sources have rather unclear peak points. However, the performance degrades in noisy or reverberant conditions. The generalized cross correlation-based SSL algorithm estimates accurate azimuths by normalizing the frequency distortion using a weighting function in highly reverberant conditions. However, the error rate of the azimuth estimation is higher than other methods in mild reverberant conditions.
In this thesis, an SSL algorithm robust to microphone gains is proposed. The proposed SSL algorithm is robust to microphone gains because it uses only the time differences among microphones. To make it possible, a cost function which normalizes the microphone gains is utilized and a procedure to detect the rough position of the sound source is proposed. The performance of the azimuth estimation is improved 60% compared with that of the intensity-based method.
Other proposed methods such as adaptive mode selection, signal interpolation, and confidence measuring are suggested to improve the overall performance. Proposed adaptive mode selection unifies several SSL methods using the kurtosis measure. It can select SSL methods according to the types of signals. To improve the performance of the sound source localization system, we can reduce azimuth errors by utilizing the signal interpolation technique which can increase the signal resolution. Also, we could prevent the wrong estimation and give the system intelligence by rejecting the estimation when the SNR (Signal-to-Noise Ratio) is below the prefix threshold. Through our experiments, we obtained relatively improved performance compared with those of conventional methods.
위치 추적은 지능형 로봇, 화상 회의 시스템, 음성 인식 시스템 등에서 사용하는 중요한 기술이다. 지능형 로봇은 위치 추적 시스템을 이용하여 공공장소나 가정에서 주위 상황을 인지하고 판단하여 도움을 필요로 하는 근처로 이동하여 적절한 대응조치를 취할 수 있도록 해준다. 화상회의 시스템에서의 위치 추적 시스템은 말하는 화자에게 자동으로 초점을 맞춘다.
위치 추적 기술은 일반적으로 세가지로 분류할 수 있다. 첫 번째는 강도 차이(intensity difference)를 이용한 방법, 두 번째는 도착 지연 시간(time delay of arrival) 이용한 방법, 그리고 세 번째는 빔포밍(beamforming) 을 이용한 방법이 있다. 이 중 도착 지연 시간을 이용한 방법은 다른 방법들에 비해 계산이 간단하고 다른 방법들에 비해 정확성이 높기 때문에 가장 널리 쓰이고 있다.
강도 차이에 의한 음원 추적 방법은 음원이 발생한 구간에서 녹음된 마이크로폰의 신호의 에너지가 크다는 가정하에 음원이 발생된 위치를 추정한다. 그러나 마이크로폰 마다 다른 이득을 가지고 있기 때문에 정확하게 음원이 발생한 구간 및 각도를 추측하기가 어렵다. 이에 비해 도착 지연 시간을 이용한 음원 추적은 강도 차이에 의한 음원 추적 방법보다 마이크로폰의 이득 특성에 덜 민감하다. 따라서 본 논문은 도착 지연 시간을 이용하여 마이크로폰의 이득 특성에 강인한 위치 추적을 수행하였다. 이는 기존의 지연시간에 기반한 음원 추적 방법과 달리 각각의 마이크로폰에 입력된 신호의 크기를 보상하여 지연 시간 차이를 구하므로 마이크로폰의 특성에 독립적이며 최대 에러가 7 도 이하의 정확한 결과를 보인다.
도착 지연 시간은 시간영역 혹은 주파수영역에서 계산할 수 있다. 시간영역에서의 계차기반의 음원 추적 방법은 신호의 샘플간의 차를 이용하여 지연시간을 구함으로써 피크점이 불분명한 음원에 대해서 좀 더 정확한 음원이 위치를 추적한다. 그러나 계차기반의 음원 추적 방법은 잡음이나 반향환경에서 녹음된 음원에 대해서는 정확한 음원의 위치를 파악할 수 없다. 잡음이나 반향환경에서의 안정적인 음원의 각도 추측은 음원 추적의 중요한 문제 중 하나이다. 주파수 영역에서의 지연 시간 측정 방법인 GCC-PHAT 기반의 위치 추적 방법은 가중함수를 사용함으로써 전체적인 음원 신호의 왜곡을 줄임으로써 반향환경에서 강인한 음원 추적을 수행할 수 있다. 그러나 신호의 왜곡을 줄임에 있어서 반향 신호뿐만 아니라 음원 신호도 포함되기 때문에 다른 방법들 보다 각도 추측의 오차가 크다.
따라서 본 논문은 Kurtosis 를 사용하여 기존의 음원 추적 방법들과 제안한 음원 추적 방법을 신호의 특징에 따라 선택함으로써 음원 추적의 성능을 향상시켰다. 계차 기반의 음원 추적은 신호의 차를 이용함으로써 음성신호 같은 피크점이 불분명한 신호의 음원 추적에 효과적이나 잡음이나 반향 환경에서는 성능이 크게 떨어지며 GCCPHAT 기반의 음원 추적은 반향환경에서 음원 추적을 할 시 효과적인 방법이나 반향이 적은 환경에서는 평균 오차가 다른 음원 추적 방법보다 높다. 또한 마이크로폰의 이득 특성에 강인한 음원 추적은 마이크로폰의 이득 특성에 상관없이 음원이 발생된 각도를 측정할 수 있다는 장점이 있으므로, kurtosis 를 사용하여 각각의 음원 추적 방법들의 장점들에 적합하게 음원 추적 방법을 선택함으로써 좀 더 정확한 지연 시간을 안정적으로 추정하였다. 또한, 음원 추적의 성능 향상을 위한 또 다른 방법으로 음원 신호에 신호보간법을 적용함으로써 1 샘플당 11.91 도의 에러를 2.38 도로 줄일 수 있다. 또한 음원 추적 시스템은 잡음 환경에서 음원 추적의 성능이 크게 감소한다. 따라서 본 음원 추적 시스템에서는 노이즈 환경에서 실험을 통해서 SNR 이 10dB 이하일 때는 성능이 크게 감소한다는 것을 알았다. 따라서 일정한 임계치 이하의 환경에서는 로봇 자체적으로 주변이 시끄럽다던가 목소리를 크게 해달라는 알림 기능을 추가하여 음원 추적의 신뢰도를 높인다.
본 논문에서 제안하는 방법은 실시간으로 작동하는 로봇에 적용될 것이며 음원 추적 기능과 함께 얼굴 인식과 음원 인식 기술을 통합한다면 좀 더 좋은 기능의 음원 추적을 수행할 수 있을 것이다. 또한, 반향 환경과 음원의 고도를 고려하여 음원의 위치를 추적한다면 좀 더 나은 성능을 기대할 수 있을 것이며 고도정보가 포함된 3-D 위치 추적의 기반의 되는 역할을 수행할 것이라고 판단된다.
