In this paper we show signal processing techniques for multimedia acoustic system. First, we show the acoustic source separation technique using multiple microphone based on the sinusoid modeling. Until now there are many other approaches for separating acoustic sources, such as acoustic beamforming, auditory scene analysis and blind deconvolution method. In this thesis the sound recorded from multiple microphones is decomposed into several sinusoids using proposed sequential sinusoid estimation method. We estimate many sinusoids one by one, and each sinusoid parameters are estimated using the steepest descent estimation methods. The accuracy of estimation is better than previous sinusoid decomposition method. After decomposing sinusoids we classify them into dedicated groups which belongs to specific sound sources. The proposed separation technique is more robust than the wideband beamforming method, and show better separation quality than blind deconvolution method. We can use the proposed technique even in reverberant acoustic channel environment and even under-determined case (the number of sound source is bigger than the number of microphones). The limitation of the proposed method is the residual which is not modeled with sinusoidal modeling.
Second, we show an instrument timbre recognition method based on the hidden Markov model (HMM). Sinusoid model is also used in this technique. Spectral envelop is the key information of music instrument timbre. We decompose recorded instrument sound into sinusoidal components (harmonics) and noise component, and estimate the amplitudes of harmonics component. We express spectral envelop effectively using amplitudes of estimated sinusoids. Three kinds of features are used to apply recognition procedure, and continuous single Gaussian output HMM is used. To evaluate the performance of recognition method, real instrumental sound recorded from MUMS (MacGill University Master Samples) is used to recognize the timber of instrument. The recognition success ratio is more than 70%.
Third, we show the real-time unwanted audio cancellation system. The proposed canceller system can be used to enhance the recorded sound's quality, and cancelled sound gives more correctly estimated sound information. The method of cancellation is estimating unwanted audio sound and subtracting it from recorded sound, and the canceller is composed of a delay block and two adaptive digital filters. To increase robustness and cancellation performance an alternative adaptation method is proposed. For real-time implementation we make sound canceller system as an Aura component and do experiments with it. To evaluate performance of the proposed canceller system we show cancellation ratio and pitch detection result.
본 논문은 멀티미디어 음향 시스템을 위하여 음향분리, 인식 및 간섭제거 관점에서의 신호처리 알고리즘을 제시한다. 첫째로 사인함수 모델을 기반으로 한 신호분리 알고리듬에 대해서 설명한다. 현재까지 빔성형, 음향 분석법 등 많은 알고리즘이 음향 분리를 위하여 연구되었다. 본 논문에서는 다중 마이크로폰으로 부터 녹음된 데이터를 제안된 순차 사인함수 추정 방법을 사용하여 사인함수로 분해 해 낸다. 각각의 사인함수를 분리할때 최고경사강하추정법(steepest descent estimation method)을 사용하며, 이 방법을 사용함으로서 이전의 방법보다 추정정확도가 정확해진다. 이후 분해된 사인함수들을 정해진 음향 신호원에 따라서 분류하고, 그 분류된 그룹들을 합성하여 분리된 신호를 만들어 낸다. 본 논문에서 제안된 방법은 빔성형에 비하여 음향 환경에 대하여 강인한 성능을 보여주며, 반향이 많은 환경에서도 사용이 가능하며, 또한 다른 신호 분리 알고리듬에 비해서 더 나은 성능을 보인다. 이 방법의 단점은 신호원이 사인함수로 잘 근사될 수 있어야 좋은 성능을 보인다는 것이다.
두번째로는 은닉 마코프 모델(Hidden Markov model)을 사용하여 악기의 인식에 관한 연구이다. 악기 인식에서 가장 중요한 특징은 스펙트럼 포락선이다. 본 논문에서는 음악신호를 사인함수로 분해한 다음 동일한 기초 주파수(fundamental frequency)를 가지는 사인함수를 모아서 스펙트럼 포락선을 추정하며 3가지 특징값을 추출해 낸다. 연속된 가우시안 은닉 마크호프 모델(continuous Gaussian HMM)을 사용하여 악기 인식하는 방법을 제안하였다. 성능평가를 위해서 맥길대학교의 음원(Magill University Master Sample)을 사용하였으며, 약 70%정도의 인식성공률을 보였다.
세번째로 실시간 원하지 않는 음향신호 제거 시스템에 대한 연구이다. 제안된 시스템은 녹음 품질향상에 사용될수 있으며, 원하지 않은 음향신호가 제거된 음향은 더 나은 음향정보를 추정하는 데 사용될 수 있다. 음향 제거 시스템은 녹음된 신호에서 원하지 않은 신호를 빼는 것으로 구현되는데 원하지 않는 신호는 신호지연부와 2개의 적응 필터로 구현되어 성능의 향상과 노이즈에 강인하며, 2개의 적응필터를 선택적으로 적용하는 방법(alternative adaptation method)을 사용하였다. 실시간 구현을 위해서 Aura 시스템의 부분으로 실시간 음향 제거 시스템을 구현하였으며, 이를 사용하여 실험하고 그 결과를 보였다.
