The hands-on multidisciplinary learning to increase creative thinking has become important. However, performing hands-on multidisciplinary learning is challenging. Many tools and workflows are scattered around the physical and digital environments. It is hard to provide an appropriate guide to every student within a limited time. The creativity support tools can enhance the hands-on multidisciplinary learning experience by drawing attention while creating the outcome. This research investigates the methods and tools for students to support hands-on multidisciplinary learning. In this research, I established the design space for hands-on multidisciplinary learning and proposed AR aided creativity support tools, WIKA and AutomataStage, with interactive kinetic art (IKA).
WIKA enables the novices to create the IKA in the form of a layered picture frame (interactive kinetic picture frame, IKPF). WIKA supports the whole creation process of IKPF in a single workspace. Physical electronics is applied from the initial phase of the creation. An AR plate connects the physical components and a projection AR system. The projection AR system displays the invisible information on the corresponding physical components. A mobile device provides an interactive tabletop interface.
AutomataStage is a video see-through system with building blocks for Interactive Automata as learning content. AutomataStage utilizes a video see-through interface and building blocks to actively engage the entire creation process from ideation to interaction authoring, mechanism simulation, and making. It also provides a hardware see-through feature with which inside parts and circuits can be seen and an operational see-through feature that shows the operation in real-time.
A user study shows that WIKA and AutomataStage enabled the students to create diverse outcomes within short sessions. AR features enabled active exploration with interest, while visual programming supported the integration. The participants could rapidly learn sensors, motors, mechanisms, and programming by creating the contents. We discuss the implications of hands-on tools with interactive and kinetic content beyond multidisciplinary education.
연구 배경 및 필요성
최근 융합(multidisciplinary) 학습을 진행하는데 있어 창작 도구의 중요성이 증가하고 있다. 학생들은 과학, 기술, 예술을 통합하여 창의적인 아이디어를 탐색하는 것이 필요하다. 실습(Hands-on Activity)은 융합 학습에서 중요한 과정이다. 경험을 통해서 스스로 깨닫는 과정을 통해서 학습을 할 수 있으며 학생들의 참여도를 높힐 수 있다. 융합 실습의 가장 어려운 측면은 다양한 구성요소와 도구들을 동시에 다뤄야 한다는 점이다. 개별 구성 요소들을 일일히 탐색하면서 결과물을 창작해나가는 과정은 쉽지 않다. 또한 가상과 현실 환경에 흩어진 도구들은 창작 과정을 복잡하게 만들기 때문에 학생들은 흥미와 집중력을 잃게 된다. 게다가 융합 실습 교육을 진행하기 위해서는 컨텐츠에 대한 숙련도가 높은 교육자가 필요한데, 소수의 교육자가 한정된 시간 내에 모든 학생들을 관리하는 것은 쉽지 않다.
융합 실습을 위해 빌딩 블럭, 소프트웨어를 활용한 도구들이 제안되었지만 활발한 탐색과 학습 과정의 통합을 지원해주는 것에는 한계가 있다. 증강 현실 시스템은 창작 과정을 이어주면서 적절한 피드백을 제공해줄 수 있기 때문에 융합 실습 도구로써 가능성이 높은 시스템이다. 하지만 융합 실습에서 증강 현실을 적용하는 연구 사례는 증강현실을 활용한 시각화에 초점이 맞춰져 있다. 증강 현실을 활용하여 활발한 탐색과 통합을 지원해주었을 때 융합 실습에 어떤 영향을 미치는지에 대한 탐색할 필요가 있다.
연구 목표 및 방법
본 연구의 목표는 학생들이 효과적인 융합 실습을 할 수 있도록 지원하는 AR 응용 창작 도구와 컨텐츠에 대해 탐구하는 것이다. 목표를 달성하기 위해 증강현실 응용 학습 도구인 WIKA와 AutomataStage를 제안하고 효과를 알아보고자 하였다. 융합 실습을 위한 컨텐츠로는 인터랙티브하고 키네틱한 요소를 가진 주제를 채택하였다. 활발한 탐색과 통합을 지원하기 위한 측면에 대한 고려를 프로토타이핑과 학습을 위한 인터랙티브 도구들에 대한 문헌조사를 실시하였다. 이를 바탕으로 융합 실습 교육을 위한 증강현실 응용 도구 및 컨텐츠를 제안하였다. 본 연구에서는 '디자인을 통한 연구 기법'을 기반으로 도구 개발, 사용자 평가를 반복하여 성찰적으로 시스템을 개발하였다.
관련연구
문헌 조사를 통해 창의성과 문제 해결 능력을 향상시키기 위한 융합 실습의 필요성을 알게 되었다. 융합 실숩의 공통적인 목표와 방법은 반복적인 창작 활동을 통해 경험을 통해 학습을 하는 것이다. 학생들은 반복적인 시행착오 과정을 통해 관련 지식, 실전 기술, 창의력을 습득할 수 있다. 융합 실습에서 전자 부품과 메커니즘을 활용한 결과물을 만드는 것은 학습 콘텐츠로 자주 활용된다. 그러나 다양한 요소와 도구를 단기간에 습득하기는 어렵다. 인터랙티브 키네틱 컨텐츠의 제작을 통한 융합 실습을 지원하기 위해 많은 연구자들은 하드웨어 툴킷, 설계 \& 시뮬레이션 소프트웨어를 제안했다. 하지만 여전히 수업 진행에 어려움이 있다.
융합 실습을 통한 학습 경험을 향상시키기 위해 적용 가능한 기술을 몇 가지 조사하였다. 여러 학습 지원 도구는 직관적인 가이드를 지원하고 설계와 제작 과정 사이의 간격을 줄이기 위해 증강 현실 환경을 채택했다. 증강현실을 활용하여 보이지 않는 정보를 표시하고 직관적인 인터페이스를 위해 탠저블 인터페이스를 적용했다. 증강현실은 정적인 물체, 전자부품, 회로, 로봇 프로그래밍과 같은 다양한 컨텐츠에 적용되었지만, 인터랙티브 키네틱 컨텐츠로 학습을 지원하는 연구는 거의 없었다. 본 연구에서는 증강현실 시스템을 적용한 인터페이스를 통해 인터렉티브 키네틱 컨텐츠를 활용한 융합 실습 경험을 향상시키는 데 초점을 맞추었다.
융합 실습을 위한 도구와 컨텐츠의 디자인 스패이스
융합 실습을 위한 도구와 컨텐츠를 개발하기 위해 챌린지, 연구목표, 문헌 조사를 바탕으로 하여 디자인 고려사항을 설정하였다. 컨텐츠는 다학제적인 지식 전달, 창의적인 발상을 위한 아트 포함, 반복적인 탐색 유도가 세부목표로 설정되었으며 도구는 활발한 참여유도, 자연스럽게 작업과정 이어주기, 다양한 아이디어의 창작 지원이 고려사항으로 설정되었다. 설정된 고려사항을 바탕으로 하여 연구의 디자인 스패이스를 설정하였으며, 디자인 스패이스에 맞게 도구와 컨텐츠의 디자인을 결정하였다.
WIKA: A Projected Augmented Reality Workbench for Interactive Kinetic Art
디자인 스패이스를 바탕으로 인터랙티브 키넥티 컨텐츠인 IKPF를 탐색하고 구축하기 위한 통합 환경인 WIKA를 제시하였다. 프로젝션 기반 증강현실 시스템은 실시간으로 변화는 시각 정보를 활용하여 실제 및 디지털 환경을 통합하였다. WIKA는 시뮬레이션에서 제작 과정에 이르기까지 단일 작업 공간에서 전체 제작 과정을 지원하는 탠저블 인터페이스와 증강된 정보를 결합한 것이 특징이다. WIKA는 증강 현실과 탠저블 인터페이스를 활용하여 인터랙션 정의와 창작 작업을 지원하였다. AR 플레이트와 모바일 장치는 사용자의 창작 과정을 효과적으로 연결한다. 유저 스터디에서는 WIKA가 빠르게 IKPF의 창작을 지원하고 풍부한 결과물을 만들 수 있도록 지원한다는 것을 밝혔다. 하지만 융합 실습을 효과적으로 지원하기 위해서는 시스템을 개선할 필요가 있었다.
AutomataStage: An Interactive Automata Creation Tool for Hands-on STEAM Learning
WIKA의 개발 과정과 유저 스터디 결과를 바탕으로 창작 도구 및 컨텐츠의 개선 방향을 결정하였다. 추가적으로 실제 교육 현장의 요구사항을 파악하기 위해 전문가 인터뷰를 시행하였고 도구와 컨텐츠의 디자인 방향을 확인하고 유저 스터디에 대한 조언을 얻었다. 개선 방향을 토대로 인터랙티브 오토마타를 학습 컨텐츠로 하는 비디오 시스루 어플리케이션인 AutomataStage를 개발하였다. 빌딩 블록과 연계된 시스루 인터페이스는 아이디에이션부터 프로그래밍, 메커니즘 시뮬레이션 및 제작까지 전체 창작 과정을 지원한다. AutomataStage는 센서, 모터, 메커니즘의 활발한 탐색을 지원한다. 상태 전환 (state transition) 프로그래밍 방법은 구성 요소와 창작 과정을 효과적으로 통합한다. 유저 스터디를 통해 AutomataStage가 아이디어 발전, 탐색 및 통합을 효과적으로 지원하여 인터랙티브 오토마타를 빠르고 다양하게 창작할 수 있음을 확인하였다.
논의 및 기여
AR을 활용하여 개발한 창작 도구인 WIKA와 AutomataStage는 활발한 탐색과 통합 과정을 지원하여 효과적인 융합 실습을 가능하게 하였다. 이 도구들은 초기부터 실제 부품들을 사용할 수 있도록 지원하고 사용자의 아이디어와 연계되는 인터페이스를 제공함으로써 탑다운 (Top-down)으로 학습을 진행할 수 있도록 지원하였다. 학생들이 자세한 원리보다는 본인의 아이디어로 창작해야하는 결과물에 집중할 수 있도록하여 흥미를 끌 수 있었다. 활발한 탐색을 지원하여 경험을 통한 학습 과정을 지원할 수 있었다. 증강현실 인터페이스를 활용하여 개별 구성요소의 탐색을 지원하였으며 인터랙션을 설계하는 과정을 통해 통합하며 테스트 하는 과정도 지원하였다. 또한, 하나의 시스템으로 전체 창작 과정을 지원하고 빌딩 블럭과 연계한 증강현실 인터페이스를 제공함으로써 학생들이 구성 요소와 창작 과정을 관리할 수 있도록 지원하였다. WIKA와 AutomataStage는 학생들의 아이디어로부터 연계되는 창의적인 공작 활동을 지원하기 위해 증강현실 기술을 활용하였다. 또한 인터랙티브 키네틱 컨텐츠를 타겟으로 하였기 때문에 증강현실 기술을 활용하여 개별적으로 탐색하고 통합하는 과정을 지원하는데에 초점을 맞추었다.
융합 실습 교육을 위한 컨텐츠와 도구를 디자인할 때 추천 사항을 파악할 수 있었다. 인터랙티브하고 키네틱한 요소를 가진 컨텐츠를 활용하면 학생들의 흥미를 끌고 다양한 경험을 제공할 수 있을 것이다. 인터랙티브 키네틱 컨텐츠의 특성상 시행착오가 필수이기 때문에 자연스럽게 반복되는 탐색과 테스트 과정을 수행하게 된다. 탠저블 인터페이스와 연계한 증강현실은 학생들에게 새로운 자극을 주고 탐색 및 테스트 과정을 도와주어 경험을 통한 학습 과정을 효과적으로 지원할 수 있을 것이다. 제안한 증강현실 도구들의 특징은 초보자들을 위한 인터랙티브 프로토타이핑 도구에도 적용시킬 수 있을 것이다. 초보자들이 가장 어려워하는 것은 아이디어를 내는 것과 그 다음에 어떤 과정을 진행해야하는지 모른다는 것이다. 프로토타이핑 도구가 AI기술을 활용하여 예시나 대안을 제시하여 아이디어 내는 것을 도와주고, 아이디어를 분석해 자연스럽게 다음 단계를 진행할 수 있도록 지원하면 복잡한 과정도 초보자들이 잘 진행할 수 있을 것이다.
연구의 한계점과 향후 연구에 대해서도 파악하였다. 유저 스터디가 짧은 시간의 1대1 수업으로 진행되었다는 한계점이 있다. 실제 교육 환경에서 활용 가능한지 파악하기 위해서는 다수의 학생을 대상으로 유저 스터디를 진행해볼 필요가 있다. 그러기 위해서는 배포 가능한 시스템으로 업데이트 하여야 한다. 여러번의 수업에서 쓰일 수 있도록 하려면 지원하는 컨텐츠도 다양화할 필요가 있다. 지원하는 부품의 개수를 늘려 학생들이 또 다른 결과물을 만들어 보게 할 수 있을 것이다. 증강 현실의 특성을 활용하여 협업 가능한 시스템에 대한 탐구도 진행할 수 있다.
본 연구의 주요 기여는 융합 실습을 위한 새로운 도구와 컨텐츠를 제안한 것이다. 빌딩 블럭과 연계한 증강현실 인터페이스를 활용하여 인터랙티브 키네틱 컨텐츠의 활발한 탐색과 통합을 지원하는 방법을 제시하였다. 또한 개발 과정과 유저 스터디를 통하여 알게된 도구와 컨텐츠에 대한 발견점과 시사점을 제시하였다. 학생들이 탐색과 통합하는 과정을 통해 경험을 통한 학습을 하고 제안한 증강현실 도구가 학생들의 활동을 지원함을 알 수 있었다. 본 논문에서 제시한 도구, 컨텐츠 및 유저 스터디 내용은 초보자들의 창작을 도와주는 인터랙티브 도구의 탐색에 유용할 것이다.
