With the recent rapid developments in virtual reality technology, the need to reproduce high-quality auditory sensations is increasing to provide immersive user experiences. However, accurate acoustic simulation in a highly complex virtual scene is still a challenging problem due to its high computational requirements. There is a strong demand for low-complexity acoustic simulation in real-time applications such as interactive virtual reality environments. In particular, simulating late reverberation requires lots of computational effort, contrary to the early reflections that can be modeled by simple techniques, e.g., the image source method. This thesis proposes a differentiable integrated framework to tackle this computational complexity problem that can estimate and synthesize late reverberations from early reflections. The framework generates late reverberations with controlled temporal texture and spectral energy distribution by extracting spectral and echo-histogram features and filtering the sampled sparse sequences and Gaussian noises. The model is trained and tested for the case where the late reverberation is nearly diffuse, as well as when distinct echoes are prominent in the late reverberation, such as with flutter echoes in narrow corridors. Evaluation results demonstrate that the proposed framework can accurately reproduce spectral energy and temporal texture of a room impulse response using only early reflections.
가상 현실 기술이 빠르게 발전함에 따라 몰입감 있는 사용자 경험을 제공하기 위해 높은 수준의 청감을 재현해야 할 필요성이 커지고 있다. 그러나 고도로 복잡한 가상 공간에서의 정확한 음향 시뮬레이션은 높은 연산량을 요구하므로 여전히 어려운 문제이다. 한편 대화형 가상 현실과 같은 실시간 애플리케이션에서의 음향 시뮬레이션은 낮은 계산 복잡도를 요구한다. 특히 이미지 소스법과 같은 간단한 기법으로 모델링할 수 있는 초기 반사와는 달리 후기 잔향의 시뮬레이션은 많은 연산량을 필요로 한다. 본 논문은 후기 잔향의 시뮬레이션이 가지는 계산 복잡도 문제를 해결하기 위해 초기 반사로부터 후기 잔향을 추정하고 합성할 수 있는 미분 가능한 통합 프레임워크를 제안한다. 제안한 프레임워크는 초기 반사의 스펙트럴 및 에코 히스토그램 특징을 추출하고 샘플링된 희박 시퀀스와 가우시안 노이즈를 필터링하여 통제된 시간적 질감과 스펙트럴 에너지 분포를 갖는 후기 잔향을 생성한다. 훈련과 평가는 확산적인 후기 잔향뿐만 아니라 좁은 복도에서 일어나는 플러터 에코와 같이 개별 에코가 두드러지는 후기 잔향에서도 이루어진다. 평가 결과는 제안한 프레임워크가 초기 반사만을 이용하여 실내 임펄스 응답의 스펙트럴 에너지와 시간적 질감을 정확하게 재현할 수 있음을 보여준다.
