Generating a realistic sound is one of the essential components in various research and applications, such as immersive AR/VR and voice recognition, that require the sound of the real environment. The 3-D structure of the real environment and the acoustic material properties are necessary to generate a realistic sound. Acoustic experts can obtain the acoustic properties of the real environment by utilizing specific methods comprising specialized equipment and conditions with specialized knowledge. However, it is difficult for general users to obtain acoustic material information from the real environment, making it challenging to generate realistic sounds. This dissertation proposes an integrated framework that can automatically measure the acoustic properties of an indoor environment without complex equipment and specialized knowledge for realistic sound generation. Specifically, we propose a method for automatically identifying the type of acoustic material from 3-D point cloud data to measure acoustic properties in an indoor environment. Furthermore, we propose a simple measurement method based on signal separation and deep learning using an inexpensive device to estimate the acoustic properties of identified materials. At the end of the dissertation, we integrate the proposed methods into a mobile robot framework to show that our proposed method can automatically estimate the acoustic properties of a real 3-D environment and generate realistic sounds.
현실적인 소리의 생성은 몰입감 있는 AR/VR, 음성 인식과 같은 실제 환경의 소리를 필요로 하는 다양한 연구 및 응용 분야에서 필수적인 작업이다. 이러한 소리를 생성하기 위해서는 실제 환경의 3차원 구조와 음향 재질에 대한 정보가 필요하다. 실제 환경의 음향 특징은 음향 전문가에 의해 특수한 환경에서 전문적인 장비를 사용하여 얻을 수 있지만 값비싼 장비와 전문적인 지식을 요구한다. 따라서 일반 사용자 혹은 연구자가 실제 환경의 음향 재질 정보를 얻기 위해 활용하기에는 힘들며, 현실적인 소리를 생성하기 어렵다는 문제를 가지고 있다. 본 논문은 현실적인 소리 생성을 하기 위해 복잡한 장치와 전문적인 지식 없이 실내 환경의 음향 특징을 자동으로 측정할 수 있는 통합 프레임워크를 제안한다. 구체적으로, 실내 환경에서 음향 특징의 측정을 하기 위해서 3차원 점군 데이터로부터 측정이 필요한 음향 재질의 종류를 자동으로 파악하는 기법을 제안한다. 또한, 각 재질에 대한 음향 특징을 측정하기 위해 저렴한 장비를 사용하는 신호분리와 딥러닝 기반의 간단한 측정 방식을 제안한다. 최종적으로 제안한 방식들을 모바일 로봇에 통합하여 실제 3차원 환경의 음향 특징을 파악하고 현실적인 소리를 생성할 수 있음을 보인다.
