With advances in technology, humans expect to be able to interact with anyone in the world, regardless of physical constraints and thus with intelligent robots. Engagement, an attribute of objects that interact, will be as a means to enhance the interaction between robots and humans or between humans. The recently rapidly growing large lecture like massive open online course(MOOC) needs the engagement recognition system. MOOC shows that the lectures can be provided to crowd students, but the grade of students is low. In other words, the engagement level of students is low. Large lectures, including online lectures, are hard to realize it because it is difficult for instructors to get feedback through the states of the audience, unlike traditional classes. This paper proposed an efficient method for face-image based engagement recognition systems as a means of informing the instructor about the states of the audience and increasing the grade of students. Whereas deep-learning model has the problem of local minima in back-propagation and needs long training time, the proposed system, which integrated deep-feature and extreme learning machine(ELM) ensemble, demonstrated stable and efficient performance compared to fine-tuned deep-learning model.
기술의 발전으로 인류는 물리적 제약 없이 전세계의 누구나 상호작용할 수 있으며 나아가 로봇과의 상호작용이 기대된다. 인게이지먼트란 상호작용하는 객체가 갖는 속성으로, 로봇과 사람 또는 사람과 사람 간의 이러한 상호작용 수준을 향상시킬 수단이 될 수 있는데 최근 급성장하고 있는 온라인 공개 강의(Massive Open Online course)와 같은 대형 강연에서 이 인게이지먼트 인식 시스템을 필요로 하고 있다. MOOC는 다수에게 제공될 수 있는 장점이 있지만 사용자의 이수율이 급격히 낮은 현상을 보이는데, 이는 사용자들이 대형 강연에대한 집중도가 낮다는 것을 보여준다. 온라인 강의를 포함하여 큰 집단을 대상으로 하는 대형 강연은 전통적 수업과 달리 강사가 청중의 상태를 통해 피드백을 얻기 어려워 이 같은 현상을 깨닫기 힘들다. 이러한 문제를 해결하기 위해 이 논문에서는 청중의 상태를 강사에게 알리고 이수율을 높이기 위한 수단으로 얼굴 영상 기반 집중도 인식 시스템을 제안한다. 심층학습 모델은 역전파 방식으로 지역적 최적화의 가능성이 높고 긴 훈련 시간을 필요로하지만 제안 된 시스템은 심층특징에 Extreme learning machine(ELM) 분류기를 앙상블하여 이러한 단점을 보완하고 집중도 인식을 학습한 심층학습 모델과 비교해 안정적이고 효율적인 성능을 보여주는 것을 실험을 통해 검증했다.