Recently, with the development of VR and AR technology, there has been an increasing interest in binaural audio rendering. To provide high-quality spatial audio, accurate binaural rendering at two ear locations is necessary. The in-head-locatedness of perceived sound images is the typical artifact that can occur with inaccurate binaural rendering, and sound externalization has been considered one of the major issues to be addressed for realistic VR and AR audio. The externalization of sound sources requires great care in binaural audio rendering due to the comprehensive impact of various factors involved with direct sound as well as room reflections, but in many cases simplified modeling techniques are being used to cope with the high computational cost of real-time processing. This thesis explores two important aspects of binaural audio rendering for sound externalization: 1. the influence of early reflections in different temporal regions and 2. the contribution of binaural cues according to the direct-to-reverberant ratio. The first experiment conducted by comparing the externalization scores with and without early reflections confirmed changes in externalization scores due to the absence of early reflections, but there was a variation across listeners. The second experiment showed that the influence of binaural cues decreased with the increase of the direct-to-reverberant ratio, and the role of binaural cues was reduced when head tracking was enabled. These results demonstrate that rendering early reflections and binaural cues is crucial for sound externalization but the role of binaural cues is relatively reduced when the amount of reflections is insufficient or other dynamic cues are available.
최근 VR (virtual reality) 및 AR (augmented reality) 기술의 발전과 함께 바이노럴 오디오 렌더링에 대한 관심이 증가하고 있다. 고품질의 공간 음향을 제공하기 위해서는 청취자의 양이 위치에 발생될 소리를 정확히 모사하는 바이노럴 렌더링이 필요하다. 부정확한 바이노럴 렌더링은 청취자의 머리속에 음상이 맺히는 음원 내재화 문제를 일으키는 것으로 알려져 있으며, 따라서 음원의 외재화는 실감나는 VR과 AR 오디오 렌더링을 위해 반드시 해결되어야 하는 문제이다. 특히 음원의 외재화에는 직접음 및 실내의 반사음과 관련된 다양한 요소가 종합적으로 영향을 미치기 때문에 렌더링에 있어 많은 주의가 필요하지만, 많은 경우 실시간 연산의 연산량 문제로 단순화된 모델링이 사용되고 있다. 본 학위 논문에서는 음원의 외재화와 관련된 바이노럴 오디오 렌더링의 두 가지 중요한 측면을 규명하고자 한다. 첫째는 초기 반사가 시간 영역별로 음원의 외재화에 미치는 영향이며, 둘째는 직접음-잔향 비율에 따른 바이노럴 단서의 중요도 변화이다. 첫 번째 실험 결과 초기 반사의 시간 영역별 외재화 점수의 변화가 확인되었으나 청취자별로 많은 차이가 존재하였다. 두 번째 실험 결과 직접음-잔향 비율이 증가함에 따라 바이노럴 단서의 영향이 감소하였으며, 헤드 트래킹이 켜졌을 때에는 바이노럴 단서의 역할이 축소되었다. 이러한 결과는 초기 반사음과 바이노럴 단서를 렌더링하는 것이 음원 외재화에 중요한 역할을 수행하지만, 반사음의 크기가 작거나 헤드 트래킹과 같은 다른 동적 단서가 존재할 때는 바이노럴 단서가 음원의 외재화에 끼치는 영향이 축소될 수 있음을 보여준다.
