This study represents practice based research into new non-linear cinema and media art that generatively selects from author-tagged shots in real-time, and renders them over four screens layered in physical space. The aesthetics of ‘multi-layered screen’ and ‘generative spatial montage’ were specified as a conceptual framework, and the main concept of this media is to create poetic and vertical montage. The four-screen architecture enables audiences to experience diverse images with single and simultaneous vision, thus over-lapped images on different screens can be used as a new system of montage film composition with collage effects in depth. With multi-layered screens, montage is created within an overlapping space, without sight distraction, and the audience can appreciate the montage from different angles and positions in a real space to produce different layering effects not possible in traditional 2D cinema. Using a tag based generative edit-ing system helps in the construction of montage with diverse variations and metaphoric meaning. The genera-tive editing system uses a dynamic Bayesian network constructed according to clip and timeline tagging. Au-dience members can actively contribute to the direction of the montage through a web interface, so the art-work creates different meanings by embracing the role of the audience in every screening. Timeline flow and authorial intents are not damaged due to these criteria, yet unexpected montage may arise from the random-ized selections. A dance film ‘Poetry of Separation’ and a documentary film ‘Lost Fragments of Night’ were used to test the system and five expert interviews were conducted to evaluate the new media. The aesthetic concepts of the media find resonance with the newly designed display system.
본 논문은 새로운 비선형적 시네마와 뉴미디어 아트에 관한 실기기반 연구로 컴퓨터로 제너레이티브하게 생성되는 몽타주와 네 개로 레이어로 겹쳐진 스크린을 통해 설치된 새로운 뉴미디어의 미학적 효과를 탐구한다. 이를 뒷받침하는 미학적 기준은 ‘멀티레이어 스크린’과 ‘제너레이티브 공간 몽타주’라는 두 가지의 개념적 틀을 통해서 구체화된다. 본 미디어의 주요한 미학적 특징은 시적이고 수직적인 몽타주를 창조하는 것에 있다. 네 개의 레이어로 설치된 스크린은 감상자로 하여금 단일한 시야 내에서, 동시적이지만 다양한 이미지를 경험할 수 있게 한다. 이는 새로운 방식의 영화적 합성을 가능하게 하며 공간적인 깊이를 전제로 한 콜라주 효과를 만들어낸다. 즉 멀티레이어 스크린을 통해 감상자는 여러 각도와 위치에서 다양한 이미지를 보고 전통적인 평면 스크린을 통해서 경험할 수 없었던 새로운 미적 경험을 창조한다. 태그를 기반으로 한 제너레이티브 편집 시스템은 컴퓨터를 통한 효과적인 몽타주 구성을 이미지가 지닌 함축적 의미를 침해하지 않는 범위 내에서 가능하게 한다. 감상자는 웹 인터페이스를 통해서 각각의 이미지에 태그를 달고 그 태그를 이용해 영화적인 타임라인을 구성한다. 컴퓨터 제너레이티브 시스템은 감상자의 제어 내에서 랜덤한 몽타주를 생성해낸다. 따라서 본 미디어로 구현된 예술작품은 감상자의 역할을 수용하면서도 컴퓨터의 생성원리에 의해서 매 순간 새로운 몽타주를 창조하며 풍부한 이미지를 제공한다. 즉 전반적인 타임라인의 흐름은 제한되면서도 우연성에 기반한 몽타주가 컴퓨터의 선택 작용에 의해서 창조되는 것이다. 본 미디어의 효과를 실질적으로 평가하기 위해 ‘분리의 시’라는 무용영화와 ‘밤에 잃어버린 조각들’이라는 시적 다큐멘터리 영화가 사례 연구로 활용되었다. 또한 본 연구가 학제적 영역에 걸쳐있기 때문에 뉴미디어에 관한 폭넓은 견해를 수용하기 위해서 전문 분야가 다른 다섯 명의 미디어 전문가와의 인터뷰를 실시하였다. 이를 통해서 멀티레이어 스크린과 제너레이티브 편집 시스템을 활용한 뉴미디어의 미학적 가치를 입증하였다.
