Among different types of media, visual and auditory information are the most important way to perceive the world. People usually judge whether a piece of music or a particular painting is sad or delightful by appreciating it in a concert hall or museum gallery. We also surf the Internet while listening to background music. And many people add their favorite background music as well as updated image files to their blogs in order to represent their daily life and personality.
While there has been a lot of research on the relationship between emotion and media, such as music and images, they remain challenging issues because people have different experiences and emotions.
We hypothesized that variations of musical and visual image attributes induce emotional changes, and generated a mapping rule between such attributes. We investigated the relationship between emotion and the attributes of such media as music and visual images, and we proposed and evaluated the mapping rule between music and visual image attributes. We also performed preference test with the updated image and generated music, and the average accuracy was 70.4%, which was lower than we expected. However, we were able to find the possibility of a mapping of music and image attributes.
요즘 많은 종류의 웹사이트들이 단순히 텍스트를 나열하는데 그치지 않고 멀티미디어를 이용하여 이미지파일들과 함께 배경음악을 재생하거나, 동영상 등과 같이 시각과 청각적 자극을 동시에 사용하는 경우가 많아지고 있다. 또한 우리는 자신들만의 홈페이지나 블로그 등을 만들어서 사진을 게시하고 배경음악을 선곡한다. 그러나 처음에 즐거운 분위기의 사진에 맞게 선정되 배경음악이 다른 이미지파일이 업데이트 됨에 따라 어울리지 않는 경우가 발생하곤 한다.
이러한 이유로 음악 및 이미지 구성요소들을 변화 시켰을 경우 사람들이 느끼는 감정의 변화가 존재할 것이라는 가설을 세웠고, 이를 바탕으로 이미지 구성요소와 음악의 구성요소 사이의 매핑룰이 존재할 것이라는 가설을 세워 이를 실험 하였다. 실험 결과, 음악 및 이미지의 구성요소들의 변화에 따른 감정의 변화를 확인할 수 있었다. 또한 이를 바탕으로 만든 매핑룰에 따라 음악을 합성하여 선호도를 조사한 결과 매핑룰에 따라 변경된 이미지로부터 만들어진 음악을 사람들이 더 선호한다는 사실을 확인할 수 있었다.
