Recent studies in emotional intelligence or affective computing have a great interest in interpreting human behaviors and mental health by leveraging mobile and wearable sensor datasets from daily contexts. For this, it is crucial to build and make available for public use such large-scale and in-the-wild datasets that include an appropriate number of affective state labels. However, there is a lack of open datasets collected in real-world contexts with affective and cognitive state labels such as emotion, stress, and attention.
In this work, we first validate the self-reported emotion labels obtained via the mobile experience sampling method~(ESM) that is commonly used to measure people's affective states by randomly requesting self-report responses. Next, we release an initial in-the-wild naturalistic dataset of smartphone use, wearable sensing, and self-reported affect states. We supplement three additional datasets and examine the cross-dataset generalizability among them. Finally, we discuss the implications and contributions of the collected datasets that can help to advance the research and development of affective computing, emotional intelligence, and attention management domains.
정서 지능 또는 감성 컴퓨팅에 대한 최근 연구는 모바일 및 웨어러블 센서 데이터 세트를 활용하여 일상적인 맥락에서 인간의 행동과 정신 건강을 해석하는 데 큰 관심을 가지고 있다. 이를 위해 적절한 양의 정서적 상태 레이블을 포함하는 대규모 필드 데이터셋을 구축하고 공개적으로 사용할 수 있도록 하는 것이 중요하다. 그러나, 실제 환경에서 수집된 감정, 스트레스, 주의력과 같은 감성 및 인지 상태 레이블을 포함한 공개 데이터셋이 부족한 실정이다.
먼저 본 연구에서는 사람들의 감정 상태를 측정하는 데 널리 활용되기에 이번 데이터셋 수집에 사용한 모바일 경험 표집 방법론의 감정 레이블 수집에 대한 문제점에 대한 인식과 보완점을 제시한다. 다음으로, 일상생활에서의 스마트폰 사용, 웨어러블 센싱 및 자가 보고 감정 상태에 대한 필드 데이터셋을 수집하여 공개한다. 추가로 세 개의 데이터셋을 수집하여 총 네 개의 대규모 멀티모달 데이터셋을 제시하며 이들 데이터셋의 일반화 가능성을 조사한다. 마지막으로, 감성 컴퓨팅, 정서 지능 및 주의력 관리 영역의 연구 개발을 진전시키는 데 도움이 될 수 있도록 수집한 데이터셋의 시사점과 기여도에 대해 논의한다.
