This thesis discusses about an empirical study to design an experience monitoring and sampling system for context-aware mobile phone applications. We designed a new experience sampling method (ESM) research system, and the research system is characterized by context-aware experience sampling, synchronous data management for real-time monitoring of user contexts and experience, supporting data analyzing tools, and integrating ESM with ex-situ diary.
This thesis aims to design a better ESM research system and to provide an experience report for researchers who want to develop another experience sampling system. We can report design considerations, design specifications, and qualitative and empirical result of two experiments.
With the implemented system, we held two experiments that evaluated three applications and proposed design of ESM system. From the experiment, we could confirm the experience sampling system has enough ability to evaluate the mobile phone applications, and what functionalities are required in the future. Also, we could discover usefulness of monitoring, diary and new data analysis tools. Finally, we discuss about how we can design a better experience sampling system.
본 논문은 휴대 단말을 위한 응용프로그램의 사용자 경험 평가 시스템의 디자인과 그 과정을 소개한다. 특히 ESM 시스템은 장기간 실험참여자 측에서 동작하는 시스템으로 무엇보다 실험 참여자들의 참여 의지가 중요하므로, 실험 참여 의욕을 고려한 시스템 디자인에 대해 정리한다. 세가지 휴대 전화의 상황인지 응용프로그램을 검증하여 기본적인 사용자 경험 평가 기능을 검증 하였다. 또한 기존의 ESM의 개념을 확장하여 사용자의 실험 참여 현황과 경험을 실시간으로 관찰할 수 있고, 설문 연기와 일지 작성을 포함하는 시스템과 자료 분석 도구를 준비하였다.
두 번의 실험 경험을 통해 발견한 이슈를 바탕으로 차기 시스템이 지향할 점들을 정리할 수 있었다. 첫 번째로는 ESM 시스템이 사용자에게 끼치는 영향에 대해 고려할 필요가 있다. 사용자 경험을 평가하려는 ESM 시스템이 사용자에게 안 좋은 경험을 제공할 경우 검증하려는 대상에 대한 평가가 달라질 수 있다. 따라서 ESM 시스템 자체가 사용자 경험에 끼치는 영향을 최소화 하는 방향으로 설계 목표를 잡는 것이 좋다. 실험이 시작된 후 사용자들의 참여 의욕을 파악할 수 있도록 시스템을 마련해 놓으면 실험 진행에 도움이 될 수 있다. 또한 사용자들을 피실험자의 입장으로 실험을 진행하기 보단 실험 참여자의 입장으로 정보와 자료를 공유하여 실험 참여를 유도 할 수 있다. 우선, 실험 참여자들에게 실험의 목적과 방법에 대해 충분히 설명을 할 필요가 있다. 실험이 시작된 후에는 실험 참여자들의 참여 성과를 보여줄 수 있다면 실험자와 참가자 모두에게 도움이 된다. 웹을 이용하면 실험자와 실험 참여자들이 모두 접근할 수 있는 시스템을 구축 할 수 있다. 또한, 수집한 자료 중 참여자가 유용하게 사용할 수 있고, 공개가 가능한 범위에서 자료를 공개하는 것도 참여 의욕을 향상 시킬 수 있다. 실험을 위해 촬영한 사진을 이용하게 할 수도 있고, 단말 이용 패턴을 볼 수 있게 할 수도 있다.
반복적인 설문이 실험을 지루하게 만들 수 있고, 따라서 실험 참여자들의 의욕을 저하 시킬 수 있다. 설문을 바꿔가며 실험을 진행 하도록 하고, 지나치게 설문이 자주 일어나지 않도록 시스템을 설계하는 것이 좋다.