Adaptive AR interface is an undeniable key trend of future mixed reality. Although context awareness plays a vital role in realizing adaptive wearable AR, context classification for the wearable AR user’s daily life has not been fully explored yet. Therefore, we propose Holistic Quantified-Self (HQS) framework for CAWAR: Context-Aware Wearable AR. We composed HQS with four significant aspects of the self: the physical aspect (active status, posture), cognitive-emotional status (stress, emotional arousal, emotional valence), social interactions, and digital consumption behavior. To construct HQS, our system gathered heterogeneous raw data by tracking 3-axis linear acceleration from the accelerometer, 3-axis angular velocity from the gyroscope, 3-axis magnetic field from the magnetometer, electrodermal activity, skin temperature, heart rate, blood volume pulse, number of faces, audio signal, and device log data. Then, we trained, validated, and tested a model with our dataset using Random Forest classifier to classify the user’s context into six categories in an office worker scenario; 1) working alone, 2) resting alone, 3) walking alone, 4) working with others, 5) resting with others, and 6) walking with others. The binary classification result shows that the accuracy of the trained model is 100%, 100%, and 99%, respectively, for classifiers of social interaction, mobility, and type of work. We could also estimate the holistic status of the user from the raw data. Several application scenarios are discussed.
적응적 AR 인터페이스는 미래의 혼합현실에서 부정할 수 없이 주요한 트렌드이다. 비록 적응적 안경형 AR을 실현시키기 위해 맥락 인지가 중요한 역할을 하지만, 안경형 AR 사용자의 일상적 삶에 있어서의 맥락 분류에 대한 연구는 아직 충분히 수행되어오지 않았다. 따라서, 우리는 맥락을 인지하는 안경형 AR을 실현시키기 위한 전체론적 자아정량화 프레임워크를 제안한다. 우리는 전체론적 자아정량화 개념을 자아의 네가지 주요한 요소로 정의하였는데, 즉, 신체적 (활동 상태, 자세), 인지-정서적 (스트레스, 감정적 각성도, 감정적 감정가), 사회적 인터랙션, 디지털 소비 행동이다. 전체론적 자아 상태를 구성하기 위해 우리의 시스템은 3축 가속도, 각속도, 자기계, 피부 온도, 심박수, 혈액 부피, 얼굴의 갯수, 음성 시그널, 디바이스 사용 로그 데이터를 측정함으로써 이질적인 생데이터를 수집하였다. 그리고, 오피스 워커 시나리오에서 사용자의 상황을 6개의 카테고리로 분류하기 위해 데이터셋을 이용하여 랜덤 포레스트 모델을 학습 및 검증하였다. 6개의 상황은 다음과 같다. 1) 혼자 일하는 상황, 2) 혼자 휴식을 취하는 상황, 3) 혼자 걷는 상황, 4) 타인과 회의하는 상황, 5) 타인과 휴식을 취하는 상황, 6) 타인과 걷는 상황. 이진 분류 결과에 따르면, 학습된 모델의 정확도는 사회적 상황, 운동성, 일과의 종류 각각 100%, 100%, 99%로 나타났다. 또한, 생데이터로부터 사용자의 전체론적 상태를 추정할 수 있었다. 몇몇의 응용 시나리오가 논의된다.
