The advent of recording technology has recording sound possible, and the movement to utilize environmental sounds as material for composing experimental music an a natural extension of this development. Through the development of recording technology, large-scale audio data has been accumulated by ordinary people, and everyday sound recordings or video recordings have been uploaded to various internet-based resources. To hierarchically classify and search such large scale of audio data, a machine learning method or creative retrieval method using a neural network algorithm has been proposed in the field of Computer Vision and Music/Audio Information Retrieval. In this paper, we propose a "NEUROSCAPE" system for artificial soundscapes based on the multi-modal connection of deep neural networks. "NEUROSCAPE" detects elements related by word through label detection algorithms by inputting landscape images of a city or nature. The detected words are calculated by 527 categories of audio data set keywords using a GloVe algorithm. The detected keywords retrieve the most relevant audio files and images from the final sound library through a sound-tagging algorithm. Through this system, we proposed three artwork formats: artificial soundscape, mixed-media installation, and experimental music and performing arts with choreography. First, based on scenery images collected from Incheon, Kassel, and Munster, we experimented with reconstructing artificial soundscapes by mapping with detected audio and comparing artificial soundscapes with real soundscapes. Second, the mixed-media installation allows users to capture desired landscape scenes and control the sounds. And third, we composed experimental musical works based on 60 audio samples detected from 10 scenery images and presented performances with choreographers. In this study, we confirmed that "NEUROSCAPE" can be applied to artificial soundscape composition and art by producing three formats of works applicable to exhibition and performing arts.
녹음기술의 등장을 통해 소리를 재현하는 것이 가능해짐에 따라 환경적 소리를 음악의 주 재료로 활용하는 움직임이 일어나기 시작했다. 이후 녹음 기술의 보편화를 통해 전문가 뿐만 아니라 일반인도 일상적인 소리를 녹음 또는 영상 기록물 등을 웹상에 업로드 함에 따라 대량의 오디오 데이터가 축적되었다. 이러한 대량 오디오 데이터를 계층적으로 분류하고 검색을 용이하게 하기 위하여 컴퓨터 비전이나 오디오 정보 분석 분야에서 다루는 기계학습 또는 심층신경망 알고리즘을 이용한 분류 및 검색 방식이 제안되고 있다. 본 논문에서는 심층 신경망의 멀티모달을 기반한 인공적 사운드스케이프 구성을 위하여 ‘뉴로스케이프’ 시스템을 제안한다. '뉴로스케이프’는 도시나 자연의 풍경 이미지를 입력하여 관련된 요소를 레이블 디텍션 알고리즘을 통해 단어로 검출한다. 검출된 단어들은 527개의 카테고리로 구분된 오디오 데이터셋 키워드와 GloVe알고리즘을 통해 단어간 유사도를 연산하여 가장 연관성이 높은 단어를 검출한다. 검출된 키워드는 사운드 태깅 알고리즘을 통해 최종 사운드 라이브러리에서 가장 연관성이 높은 오디오 및 이미지를 불러온다. 본 시스템을 통해 인공적 사운드스케이프, 혼합형 인스톨레이션, 그리고 음악과 안무를 결합한 퍼포먼스 작품을 제작하여 총 3개의 포맷을 제안하였다. 첫째, 인천과 카셀, 뮌스터에서 채집한 풍경 영상을 바탕으로 해당 영상을 뉴로스케이프로 검출한 오디오로 다시 매핑하여 실제 사운드스케이프와 인공적 사운드스케이프를 구성하는 실험을 진행하였다. 둘째, 혼합형 인스톨레이션에서는 관람객이 직접 원하는 풍경의 장면을 캡쳐하고 출력되는 소리들을 조절할 수 있도록 인터랙티브 요소를 도입하였다. 셋째, 10개의 풍경 이미지에서 검출된 60개의 오디오 샘플과 음악적 오디오 샘플을 바탕으로 재구성한 실험적 음악 작품을 완성하여 안무가와 퍼포먼스를 선보였다. 본 연구에서 전시와 공연예술에 응용 가능한 3가지 형식의 작품을 제작함으로써 ‘뉴로스케이프’ 시스템이 인공적 사운드스케이프 구성 및 예술 영역에 응용 가능함을 확인하였다.
