Human does not use a single sense to perceive the environment and communicate with each other. Human recognizes the surroundings by using various senses such as vision, hearing, and tactile at the same time, which is called multimodal interaction. This multimodal interaction allows perception of the surroundings to be more accurate than using a single sense.
In this background, there are many studies to apply multimodal interaction to humanoid robot. Among these senses, hearing is one of the most important sense to get information about surrounding environment for humanoid robot. In particular, when this auditory information is used together with the visual information, robot can recognize the surroundings more accurately and the weaknesses of each other can be compensated. For example, humanoid robot can recognize events that occur in places that are not visible.
In this paper, sound source localization system for humanoid robot that can be used with a visual sense is developed. The design specifications of the sound source localization system for humanoid robot are set up for this purpose. To satisfy these specifications, 'sound source localization using double circular microphone array' is developed based on the previously proposed method, '3D sound source localization using inter-channel time difference trajectory'
In this method, sound source location can be estimated with simple computation and reduced hardware. The location of the sound source is estimated through the time difference trajectory obtained from the measured signals from two circular microphone array which is mounted on both side of robot head..
To verify the performance of the proposed method, computer simulations and experiments with humanoid robot, Hubo, were performed. It is possible to estimate the location of a sound source with much less computation than other methods such as beamforming and MUSIC algorithm.
사람은 주변을 인지하고 다른 사람과 의사소통을 하는데 하나의 감각만을 사용하지 않는다. 시각, 청각, 촉각 등 다양한 감각을 동시에 사용하여 주변을 인지한다. 이를 멀티모달 인터랙션이라 한다. 다양한 감각 기관을 동시에 사용하기 때문에 하나의 감각만을 사용할 때에 비해 정확하게 주변 환경을 인지할 수 있다.
이러한 멀티모달 인터랙션을 휴머노이드 로봇에게 적용하기 위한 연구가 활발하게 진행되고 있다. 로봇에게 이러한 다양한 감각기관을 동시에 이용하여 주변을 정확하게 인지하는 것은 로봇의 임무수행에 있어 매우 중요한 과제이다. 이중에서도 청각 기관을 통해 얻는 음향 정보는 로봇이 주변을 인지하는데 있어서 가장 중요한 정보 중 하나이다. 특히 이러한 음향 정보를 시각 정보와 함께 사용하면 보이지 않는 방향에서 발생하는 사건을 인지하고 반응하는 등 하나의 감각만을 사용했을 때 발생하는 단점을 보완할 수 있다.
본 연구에서는 휴머노이드 로봇이 이러한 음향 정보 중에서도 가장 기본적이고 중요한 음원의 위치 정보를 사용할 수 있도록 음원 위치 추정 시스템을 개발하였다. 시각 센서와 함께 구동할 수 있도록 적은 계산으로 음원의 위치를 추정하고자 기존에 제안된 '채널간 시간차 궤적을 이용한 3차원 방향 검지 기법'을 기반으로 음원의 위치를 추정 하고자 하였다. 이를 위하여 '이중 원형 어레이를 이용한 음원 위치 추정'방법을 개발하였다. 이 방법에서는 2개의 원형 마이크로폰 어레이를 휴머노이드의 머리 양 옆에 장착하며, 측정된 신호를 이용하여 얻어진 시간차 궤적을 통해 음원의 위치를 추정한다.
제안된 방법의 성능을 검증하기 위해 컴퓨터를 이용한 모의실험과 실제 휴머노이드 로봇 휴보를 이용한 실험을 진행하였다. 이를 통해 휴보의 전원이 켜져 있는 상태에서 음원의 위치를 추정하는 것이 가능함을 확인하였으며, 다른 방법에 비해 적은 계산으로 음원의 위치 추정이 가능하였다.
