Establishing a cyclic and symbiotic relationship between human and artificial intelligence is essential part of ensuring success of explanatory interfaces. However, despite the development in the field of explainable artificial intelligence systems, a concrete quantitative measure for evaluating the usability of such systems is nonexistent. We, therefore, propose explanatory efficacy, a novel metric to evaluate the strength of the cyclic relationship the interface exhibits. In addition, in a user study, we analyzed participants' affective-cognitive processes and recorded their EEG signals as they interacted with our custom built personalized recommendation system. We found that system with high explanatory efficacy affects both system's performance and affective-cognitive state of users positively. Furthermore, our results indicate feasibility of EEG as a measure of explanatory efficacy.
설명가능한 인공지능과 유저간의 순환적이고 공생하는 관계를 구축하는 것은 설명가능한 인공지능과 유저가 성공적으로 소통할 수 있게 하는 필수요소 중 하나이다. 하지만 설명가능한 인공지능 분야에서의 근년의 발전에도 불구하고, 설명가능한 인공지능을 탑재한 인터페이스의 유용성을 평가할 수 있는 평가기준은 아직 정의되지 않았다. 본 논문에서는 앞서말한 설명가능한 인공지능과 유저간의 순환형 상호작용의 효과를 평가하는 새로운 평가기준은 explanatory efficacy를 제안한다. 또한, 사용자 연구를 위해 영화 추천 시스템을 개발하고, 실험 참가자들이 이 추천시스템과 상호작용을 할 때 보이는 정동과정과 인지과정, 그리고 뇌파도 신호를 분석한다. 분석 결과, 높은 explanatory efficacy를 가진 시스템과의 상호작용은 사용자들의 정동과정과 인지과정, 그리고 시스템의 성능 향상에 긍정적인 영향을 끼쳤으며, 또한 사용자의 뇌파도 신호가 시스템의 explanatory efficacy를 측량하는 기준이 될 수 있음을 알 수 있다.
