Through the voice, people can understand each other’s emotional states. Therefore,
sound expression should be one of important part of human-robot interaction research.
Previous studies of robot mostly consider the sound expression in view of paralanguage
which refers to the non-verbal elements of communication used to modify meaning
and convey emotion. Paralanguage is made of sounds that sometimes do not have a
written form. Robots in science fiction movies such as R2D2(Starwars) or Wall-E(Wall-E)
have paralinguistic expressions.
To describe these kinds of expressions, previous HRI studies mostly use fiveline
notation or waveform graph. However, modern music notation is not suitable to describe
the continuous change of pitch and tone in detail because sound expressions of robots
has been made from synthesizers in modern science fiction movies,. For sound designers
using the classic notation, the voice of the robots is hard to describe, especially
continuous change of pitch and timbre.
Therefore, this paper proposes SynScore, a new notation for synthesizer and
modern electronic audio devices. This paper will compare and discuss existing notations
and graphs for sound expression. The system using proposed notation will be shown in this
paper. Usability and intuitiveness of the notation will be justified by user tests.
사람들은 음성을 이용한 의사소통으로 서로의 감정이나 의도를 이해할 수 있다.
그러므로, 음향 표현은 HRI 분야의 표현 연구에서 중요한 부분을 차지하게 될 것이다.
준언어는 음색(tone/timbre), 음높이(pitch), 강세(accent) 등 발화(speech)에서 나타나는
비언어적인 음성 단서(voice cue)를 말한다. 영화 ‘Wall-E’의 ‘Wall-E’나 ‘Star Wars’의 ‘R2D2’와
같은 로봇에서도 준언어적인 표현을 볼 수 있다. 영화를 보면서 관객들은 완벽한 의미를
이해하지는 못하지만, 문맥과 상황을 통해 의미를 이해함을 볼 수 있다.
현대 공상과학영화 속 로봇의 준언어적 음향 표현은 주로 신디사이저(Synthesizer)를
이용해 제작되었다. 그러나, 신디사이저의 여러가지 파라미터들의 제어를 통해 음향을
표현하는데 있어, 기존의 기보법을 통한 표기는 표현의 한계가 있거나, 음향 디자이너가 쉽고
직관적으로 디자인하기 어렵다는 문제점이 있다. 그러므로, 본 논문에서는 신디사이저를 이용한
표현을 위해 새로운 표기법을 제안하고자 한다. 이를 위해, 기존의 표기법들과 비교하고,
각각의 한계점을 제시하여, 새로운 표기법인 SynScore 를 제안한다. 이 표기법을 이용한
시스템을 구현하고, 이에 대한 사용성과 직관성을 사용자 테스트로 검증한다.
