The ability of humans to use sonic cues to estimate the spatial location of a sound source is of great practical and research importance. Although considerable efforts have been made over the past century to understand the basic mechanism of the human auditory system, the role of each pinna cavity on auditory localization remains unclear to this day. Recent advances in computational power and acoustic measurement techniques have made it possible to empirically measure, analyze, and synthesize the spectral cues that influence spatial hearing. However, the current 3-D sound technologies are unable to compensate for the difference in individual spectral cues to render a fully immersive sound field, and development of an effective method for HRTF (head-related transfer function) customization still remains the biggest and open problem for virtual audio synthesis.
Besides changes in source direction, HRTFs are also known to depend on source distance in case the source lies in close proximity to the head. However, most HRTF databases accessible from the Web up to the present day contain HRTFs for distant sources only due to several technical challenges involved in the measurement of HRTFs for nearby sources like equalization of increasing interference from the loudspeaker as it is positioned closer to the ears. In this study, HRTFs for nearby sources (located within 1 m from the head center) were measured using a B&K HATS (Head And Torso Simulator) dummy head microphone system and a special acoustic point source in order to construct a database and analyze their characteristics influenced by the direction as well as the distance of the source with respect to the head center.
To provide more realistic and immersive audio experiences when listening to music or viewing live airwave TVs using PMPs (portable media players) such as MP3 or DMB (digital multimedia broadcasting) players, most high quality PMPs are available with 3-D sound rendering capability based on HRTFs despite limited memory space. Empirical HRTFs usually have 256 or 512 values to be stored per each ear for simulation of a single source direction and require a memory space far too excessive for most PMPs even when simulating sounds on the horizontal plane. A number of truncation techniques that can model these empirical HRTFs using only a few parameters are already available. This study explores some of the conventional HRTF modeling techniques and suggests a different modeling technique known as the minimum realization method that can decompose an HRTF into a more stable set of parameters with enhanced modeling accuracy.
Human’s ability to perceive elevation of a sound and distinguish whether a sound is coming from the front or rear strongly depends on the monoaural spectral features of the $pinnae$. For an effective virtual auditory display, this study proposes a novel HRTF customization method that can be based on any individual HRTF library of substantial size. By extracting the pinna responses from the median HRIRs (head-related impulse responses) of 45 individuals in the CIPIC HRTF database of UC Davis and modeling them by PCA (principal components analysis) in the time domain, the pinna responses could be decomposed into four or five basic temporal shapes (basis functions) per elevation. By tuning the weight on each basis function computed for a specific elevation angle to replace the pinna response in the KEMAR (Knowles Electronic Manikin for Acoustic Research) HRIR measured at the same angle with a linear combination of the tuned basis functions and listening to the filtered stimulus over headphones, four individuals with normal hearing sensitivity were able to create a set of customized HRIRs that outperformed the KEMAR HRIRs in producing vertical effects with reduced front/back ambiguity in the median plane. Since the monoaural spectral features of the pinnae are almost independent of source azimuth when source elevation with respect to the ear canal is kept fixed, similar vertical effects could also be generated in sagittal planes simply by varying the ITD (interaural time difference) according to the direction as well as the size of each individual’s own head.
The minimum realization method can be applied to model the shoulder/torso response of the KEMAR so that the above procedure to obtain customized pinna responses can be handled with less memory in real applications. The proposed methods for HRTF modeling and customization can be implemented in countless entertainment and educational applications such as home theatres, PC games, aviation simulators, and mobile devices including cellular phones and MP3/DMB players with limited memory space.
컴퓨터의 전산처리 능력이 빠른 속도로 발전함에 따라 HCI(human computer interface) 시스템에 대한 연구와 이를 바탕으로 하는 멀티미디어 환경구축에 관한 기술 개발이 전세계적으로 활발히 진행되고 있다. 특히 시각, 촉각, 청각 등의 생물학적이고 심리학적인 인간 감각의 요소를 공학적으로 연구하고 응용하여 인간으로 하여금 컴퓨터를 좀더 친밀하고 자연스럽게 다룰 수 있게 하려는 시도는 이미 여러 분야에서 활성화되고 있는 추세다. HCI 시스템의 한 분야인 가상현실(virtual reality) 기술은 컴퓨터를 이용해 인간이 느낄 수 있는 감각을 가상으로 설정하여 이를 조합 시킴으로써 가상의 세계에서 사람이 마치 실제 주변환경과 상호작용을 하고 있는 것처럼 만들어 주는 기술이다. 가상현실 시스템은 사람들이 일상적으로 경험하기 어려운 환경을 직접 체험하지 않고서도 그 환경에 들어와 있는 것처럼 실시간으로 보고 들으며 조작할 수 있다는 장점 때문에 시뮬레이터, 교육, 게임, 방송, 의학시술 등 실로 다양한 분야에서 응용되고 있다. 그 동안 가상현실 시스템은 주로 영상 분야에만 초점을 맞추어 왔으나 최근 들어 보다 높은 현장감을 재현하기 위해 현장의 음장을 원음 그대로 살리는 3차원 입체음향 기술이 관심을 끌고 있다. 사람이 단 두 개의 귀만으로 머리주변 3차원 공간상에서 존재하는 음원의 위치를 식별해는 능력을 auditory localization이라고 하며, 이를 거꾸로 이용하여 스피커나 헤드폰을 통해 머리주변 임의의 위치로부터 소리가 들려오게끔 느끼게 해주는 모든 기술을 통틀어 3-D sound technology 혹은 virtual audio synthesis(VAS)라고 한다. 이 VAS 기술의 핵심이 바로 머리전달함수(HRTF: head-related transfer function)이며, 머리전달함수를 이용하여 두 개의 스피커만으로 5.1 ch. 이나 7.1 ch. surround sound 를 만들어주는 Front-Surround 혹은 Virtualizer 기술이 이미 국내외산 디지털 TV나 각종 PMP(portable median player) 등에 탑재되어 있다. 머리전달함수란 머리주변 임의의 위치에 자리한 음원으로부터 고막까지의 소리의 전달경로를 수학적 전달함수로 표현한 것을 말하며 머리중심에 대한 음원의 상대적 위치와 사람의 머리와 외이(pinna)의 크기나 형상에 따라 매우 달라진다. 정확한 가상 음원의 묘사를 위해서는 대상이 되는 사람의 머리전달함수를 일일이 측정하여 사용해야 하나 이는 실용적이지 못하므로 보통은 인체와 비슷한 마네킹에 고막의 위치에 마이크를 탑재하여 측정한 non-individualized HRTF를 사용한다. 본 연구는 이러한 non-individualized HRTF를 이용하여 가상 음장을 재현할 경우 개인의 머리나 외이가 마네킹 또는 dummy head microphone system과 맞지 않아 야기되는 다양한 음상 정위에 관한 문제점들을 개선하는 방법을 모색하기 위해 시작되었다. 흔히 수평면상에서 느껴지는 각도의 부정확성은 개인의 머리크기를 고려하여 보정할 수 있으나, 비효과적인 고도감과 앞뒤 혼동은 외이의 크기와 형상이 개개인마다 다름으로 인하여 발생하는 문제점들이다. 본 논문에서는 다수의 개인 머리전달함수들의 분석을 토대로 각각의 청취자에게 보다 효과적인 가상 음장을 재현할 수 있는 쉬운 맞춤형 머리전달함수 기법을 제시한다.
