Computers need to provide information in a way that users can anticipate reliably and react quickly to them. Such temporal associations between output and input reflect a good design and are useful to evaluate user interfaces. However, there has been no general technique for evaluating such temporal associations that would work both in the lab and in-the-wild. We propose a method to estimate the temporal association between a user's input and a computer's output using only a screen capture video and button input logs. In response to a visual stimulus generated from a pixel on the screen, the user's button input may be a simple reaction, or a result of anticipating, or independent of the visual stimulus. Through the expectation-maximization (EM) algorithm, we estimate which association type an output-to-input pair belongs to and also the parameters of the corresponding likelihood distribution. In the first study, we demonstrated that our method could analyze and yield multiple estimates distinguishing different conditions in the self-expanding target acquisition task. In the second study, we found that our estimates correlated with the game score, which is the high-level index of the commercial game. Our method is able to analyze the temporal association in screen-based interactive systems, and provides estimates that can predict the high-level indicator.
컴퓨터는 사용자가 확실하게 예측할 수 있고, 신속하게 반응할 수 있는 방식으로 정보를 제공해야한다. 이러한 출력과 입력 간의 시간적 연관성은 좋은 디자인을 반영하며, 사용자 인터페이스를 평가하는 데 유용하다. 그러나 연구 환경과 현장에서 모두 사용할 수 있는 시간적 연관성을 평가하는 일반적인 방법은 연구되지 않았다. 이 논문에서는 화면 녹화 영상과 버튼 입력 로그만을 이용하여 사용자 입력과 컴퓨터 출력 사이의 시간적 연관성을 분석하는 방법을 제안한다. 사용자의 버튼 입력은 화면의 픽셀에서 생성 된 시각적 자극에 대한 (1) 간단한 반응 일 수도 있고 (2) 예측한 결과 일 수도 있으며 (3) 독립적 일 수도 있다. 우리는 기댓값 최대화 알고리즘(expectation-maximization algorithm)을 통해 출력과 입력 쌍이 속하는 연관 유형과 그 우도 분포의 매개 변수를 추정한다. 첫 번째 실험에서는 확장하는 타겟 선택 과업에서 본 분석 방법이 과업 내의 조건 차이들을 식별할 수 있음을 보였으며, 두 번째 실험에서는 일반적인 상용 게임에서 본 분석 기법을 활용해 참여자의 게임 플레이 점수를 예측할 수 있음을 확인했다. 우리의 방법은 화면 기반의 상호작용 시스템에서 시간적 연관을 분석할 수 있으며, 높은 수준의 지표를 예측할 수 있는 추정치를 제공한다.
