This thesis presents the development of a piano playing robot with motion-sound mapping in order to provide the elderly a means of entertainment that can interact with them while it is in operation.
A piano playing robot composed of a personal computer, a robotic arm, and a robotic hand is first developed to make a system that can play piano mechanically. Kinematic, dynamic equations, and Jacobian matrix for the robotic arm and the robotic finger are then built for realtime control and simulation of the system. A study on the actions underlying sound generation in acoustic piano is carried out to have an insight into the relations between piano sound and keys’ motion. These relations are later represented by neural networks. By using these relations, the piano-playing robot can produce fascinating music as a result of mimicking sample music.
Experiment results demonstrate that the developed system outperforms existing systems in the sense of music attractiveness and make it a candidate to be used as a service robot in entertaining human being.
본 논문은 노인들에게 상호 작용을 통한 놀이의 수단을 제공하는 모션-사운드 매핑을 이용한 피아노 연주 로봇의 개발을 다룬다. 피아노 연주 로봇은 기계적으로 연주할 수 있는 시스템 구축을 위하여 컴퓨터, 로봇 팔, 그리고 로봇 손으로 구성되어 있다. 시스템의 로봇 팔과 손가락의 실시간 제어와 시뮬레이션을 위해 물리 운동학, 동역학 식, 야코비안 행렬을 구한다.
실제 피아노 연주를 위하여 피아노의 소리와 각 건반의 움직임 간의 관계를 관찰한다. 기존의 로봇을 이용한 피아노 연주는 단순히 로봇 손가락이 일정한 압력으로 건반을 누르는 것이었기 때문에 실제 사람의 연주와는 차이가 있다. 본 연구에서는 사람이 실제로 연주를 할 때 각 건반을 누르를 속도를 측정해서 이를 로봇 손가락의 모션 제어에 사용한다. 그러므로 실제 사람이 연주할 때와 같이 자연스러우 음을 발생시킬 수 있게 된다. 이 때 피아노 소리와 각 건반 움직임의 관계는 신경망을 이용하여 표현된다. 이 관계를 이용하여 피아노 연주 로봇은 실제 음악의 일부를 모방하여 연주를 실시한다.
개발한 시스템을 기존의 시스템과 비교한 경우 연주의 질 면에서 우수한 성능을 보이며, 인간의 오락을 위한 서비스 로봇의 일환으로 사용될 수 있다.
