People tend to use mobile applications in their daily life while performing other activities at the same time. In such a case, we define a cognitive bug as the high-intensity interference due to the simultaneous use of cognitive resources by multiple activities that causes task error or interruption, preventing users from fulfilling their goals.
Because of the negative consequences of multitasking in mobile environments are well established, the design and development of applications that humans interact with should consider the minimization of cognitive bugs to avoid usage failures. With that purpose, we present a theoretical model for predicting cognitive bugs in mobile applications.
Studies that have addressed problems related to prediction or estimation of human cognitive factors have proposed empirical methods for estimating cognitive load, as a metric of observed cognitive effort, collecting the various type of data, using a diverse range of sensors, and developing machine learning models of estimation. However, in mobile application environments, there are several constraints regarding data collection. Thus, in a high mobility environment, to collect good quality data from people that can be correlated with cognitive factors, such as physiological signals, is technically challenging and from people's perspective is uncomfortable and inconvenient to wear different type of sensors.
For that reason, we developed a model for simulating cognitive processes and predicting, from a theoretical perspective, cognitive resources usage and cognitive bug occurrence. We developed an ontology model, cognitive task representation model, and simulation of cognitive resource utilization using a parallel neural network architecture. We enriched the neural network architecture with external knowledge, from the ontology model and from a cognitive control mechanism that establishes theoretical rules based on cognitive psychology models.
To validate our model we performed a user study in which we tested people while using mobile applications and performing physical activities at the same time. Through a statistical comparison against empirical estimation methods, results show 85% of correlation on average with our model. Furthermore, we create metrics to define cognitive bugs and provide information on which tasks can be performed in parallel avoiding cognitive bug occurrence. In addition, task classification results of our model indicate that assuming a sequential structure in the neural network the average accuracy is 90%.
많은 사용자는 일상 생활 중 다른 활동을 하면서 동시에 모바일 애플리케이션을 사용하는 경향이 있다. 본연구에서는 사용자가 한번에 수행하는 여러 개의 활동이 인지 자원을 동시에 사용함으로써 발생하는 인지적 자원 사용에 고강도의 간섭을 인지 버그라고 정의한다. 이러한 인지 버그는 태스크 수행 중 문제나 중단을 유발하여 사용자가 목표를 달성하는데 있어서 장애물이 된다.
모바일 환경에서 멀티태스킹에 의해 부정적인 결과가 발생할 수 있다는 점은 잘 확립되어 있기 때문에, 사람과 상호작용하는 애플리케이션은 사용 중 실패를 피하기 위해서 인지 버그를 최소화할 수 있도록 설계 및 개발 해야한다. 이를 위하여 본 논문에서는 모바일 애플리케이션에서 인지 버그를 예측하기 위한 이론적 모델을 제시하였다.
인간의 인지적 요인의 예측 또는 추정과 관련된 문제를 다루는 기존 연구에서는 관찰 가능한 인지적 노력의 척도로서 인지 부하를 측정하는 실증적인 방법들을 제안하였는데, 그 방법으로는 다양한 종류의 센서를 통해 여러 유형의 데이터를 수집하거나, 머신 러닝 기법을 통해 추측하는 것이 있다. 그러나 모바일 애플리케이션 환경에서는 데이터 수집에 있어서 여러 제약 조건이 있다. 그러므로 이동성이 높은 환경에서는 생리적 신호와 같이 인지적 요인과 상관관계가 있는 양질의 데이터를 수집하는 것은 기술적으로 어려운 일이며, 데이터 수집 대상자는 여러 종류의 센서를 착용하는 것이 매우 불편할 수 있다.
그러한 이유로, 본 연구에서는 인지 프로세스를 시뮬레이션 하고, 이론적 관점에서 인지 자원 사용과 인지 버그 발생을 예측하는 모델을 개발하였다. 그 과정에서 온톨로지 모델, 인지 태스크 표현, 그리고 병렬 신경망 아키텍처를 이용한 인지적 자원 활용 시뮬레이션 등을 개발하였다. 우리는 온톨로지 모델과 인지 심리학 모델에 기반한 이론적 규칙을 설정하는 인지 제어 메커니즘 등의 외부 정보로 신경망 아키텍처를 강화시켰다.
본 논문에서 제안한 모델을 검증하기 위해 사용자가 모바일 애플리케이션을 사용하는 동시에 신체적 활동을 하도록 하여 사용자의 인지 버그 발생 유무를 테스트 하는 사용자 연구를 수행하였다. 본 논문에서 제안한 모델을 실제 사용자 연구 결과와 통계적으로 비교 했을 때 평균 85%의 상관관계를 보여주었다. 본 논문에서는 인지 버그를 정의하고, 태스크가 인지 버그 발생을 피하면서 동시에 수행될 수 있을지에 대한 정보를 제공하는 척도를 만들었다. 또한 본 논문에서 제안한 모델은 주어진 태스크가 순차적으로 수행된다고 가정했을 때, 인지적 간섭 수준에 기반한 태스크 난이도 분류 결과 평균 90% 이상의 정확도를 보여주었다.
