As the first issue of this dissertation, spatial audio object coding (SAOC) schemes are introduced. Interactive audio services (IASs) usually provide users with audio editing functionality and users can render their own sounds according to their preference. For IASs, the original SAOC is an appropriate multi-channel coding tool that satisfies most of the required functionalities with relatively low bit rate. Nevertheless, the SAOC usually fails to remove a specific object successfully, especially the vocal object in the case of the Karaoke service. In addition, to expand the service to mobile environments, not only the lower bit-rate but the lower complexity is required. Thus, we propose a new SAOC vocal harmonic coding technique to improve the background music quality in the Karaoke service. Namely, utilizing the harmonic information of the vocal object, we removed the harmonics of the vocal object remaining in the background music. Our experimental results confirm that the background music quality is improved by the proposed algorithm even with the low bit rate and complexity.
In the second issue of this dissertation, we deal with the personal audio studio system (PASS) for the audio object control. As the PASS for the IAS, MUSIC 2.0 is introduced but has two problems. They are a rather high bit-rate and the lack of some necessary functionality. In MUSIC 2.0, the bit-rate is directly proportional to the number of audio objects and it cannot provide the object insertion and change functionality because a user can control only the volume of each object according to his preference. Therefore, we propose a novel PASS with which a user can remove, insert or change object using a spatial audio coding (SAC) scheme. According to the type of the input contents, the object control module I and II edit the multi audio object signals and the SAC-based contents, respectively. To edit the SAC-based contents, the object control module II carries out the object removal and insertion module at the user’s command while the module II does almost the same work as MUSIC 2.0. After the contents are finished editing object, the output contents have two types whether the contents is modifiable or not. Our experimental results confirm that the edited contents equal to the original contents. As the results of this dissertation, the user enables the PASS, which supports all functionalities, to use in the real mobile environments.
본 논문의 첫 번째 주제로써, SAOC(spatial audio object coding) 기법을 소개한다. IAS(interactive audio services)는 사용자가 자신의 취향에 따라 음악을 렌더링하여 자신만의 음악을 만들 수 있는 서비스이다. IAS를 위해서 SAOC는 낮은 비트율로 IAS가 요구하는 기능에 적합한 다객체음향코덱이다. 하지만 SAOC는 특정 객체를 제거할 때, 특히 노래방서비스와 같이 보컬객체를 제거할 때 IAS로써 만족스럽지 못한 성능을 제공한다. 더욱이 IAS를 모바일 환경에서 사용하기 위해서는 낮은 비트율뿐만 아니라 낮은 복잡도도 요구된다. 그래서 본 논문에서는 노래방서비스에서 배경음악의 음질을 향상시키기 위한 새로운 S-VHC(SAOC vocal harmonic coding)기법을 제안한다. 제안하는 방법은 보컬객체의 하모닉 정보를 사용하여 SAOC기법으로 보컬이 제거된 배경음악에 남아있는 보컬의 하모닉성분들을 마저 제거한다. 실혐결과는 제안하는 방법이 낮은 비트율과 복잡도로 배경음악의 음질을 향상시킨 것을 보여준다.
논문의 두 번째 주제로써, 객체편집을 위한 PAS(Personal audio studio)시스템에 관하여 소개한다. IAS를 위한 PAS시스템으로써, MUSIC 2.0이 소개되었지만 두 개의 문제점이 있었다. 하나는 각 객체 신호를 따로 부호화하여 신호를 전송하므로 비트율이 높다는 문제점이고, 다른 하나는 객체삽입, 객체교환의 기능은 제공하지 않는다는 문제점이다. 그래서 본 논문에서는 SAC(spatial audio coding) 기법을 사용한 객체제거, 객체삽입, 객체교환이 가능한 새로운 PAS시스템을 제안한다. 제안하는 시스템은 입력 컨텐츠의 종류에 따라서 객체편집모듈 I에서는 다객체음향신호를 모듈 II에서는 SAC기반의 컨텐츠의 객체를 편집한다. 객체편집모듈 I에서는 MUSIC 2.0과 같은 방법으로 객체를 편집하고, 동시에 객체편집모듈 II는 사용자의 커맨드에 다라 객체제거와 객체삽입을 통해 SAOC기반의 컨텐츠를 편집한다. 객체편집이 끝난 컨텐츠는 다른 사용자가 편집된 객체를 다시 편집이 가능하느냐 하지 않느냐에 따라서 SAC기반의 컨텐츠와 음악으로 출력된다. 실험결과는 PAS시스템으로 편집된 객체가 기존의 다객체음향코덱과 같은 성능을 보여주는 것을 보여준다. 본 논문의 결과로써, 사용자들은 모바일 환경에서 사용 가능한 모든 편집기능을 포함한 PAS시스템의 사용이 가능하다.
