Conversation is the most frequently used interaction and plays a critical part in our everyday life. Therefore, understanding such everyday conversation can provide various areas (e.g. sociology, psychology, healthcare, and so on) with new applications and opportunities. However, because of dynamic acoustic environment and computational complexity, continuous conversation monitoring in everyday is very difficult to achieve. Recently, along with popularization of mobile device and development of sensing technology, it brings new aspects to the existing challenges. The popularization, connectivity, and closeness of users’ everyday of mobile device offer a solution space to monitoring everyday conversation. In this paper, we propose SocioPhone, as an initial step of a mobile system for everyday conversation monitoring in real-time. In its core, a number of smartphones capture the energy of sound signals through the microphone. Next, Socio-Phone builds collaboratively Volume-topography and Energy-threshold classifier of in-situ conversation ses-sion. Based on these, the system infers “who speaks when” and overlap speech information of current conver-sation session in real-time. Our system has the advantages of resource-efficiency, accurate turn detection and robustness against noise and these features enable the system to extract various conversation information (e.g. turn, turn-taking order, and overlap) from real everyday conversation. We evaluate the performance and energy-efficiency of our system in diverse environments. As a result, the system achieves 80~93% turn monitor-ing accuracy and 75~78% overlap accuracy. In addition, the system cost is half of GMM-based existing techniques.
대화는 가장 자주 쓰이는 의사소통 수단이자 우리의 일상에서 매우 기초적인 부분을 차지하는 사회적 활동이다. 따라서 이러한 일상 대화를 이해하는 것은 사회학, 심리학, Healthcare 등 다양한 분야에 새로운 응용의 기회를 제공하는 토양이 될 수 있다. 하지만 변화가 심한 소리 환경과 계산의 복잡도로 인해 연속적으로 일상 대화를 모니터링 하는 것은 매우 어려운 일이었다. 최근 몇 년간 폭발적으로 보급된 모바일 디바이스는 이러한 어려움을 해결하는데 새로운 측면을 제시하였다. 모바일 디바이스의 보편화, 연결성, 사용자 일상과의 밀접함은 일상 대화를 모니터링 할 수 있는 새로운 스페이스를 제공하였다. 이에 본 논문에서는 실시간으로 일상 대화 모니터링을 하는 모바일 시스템인 SocioPhone을 제안한다. 여러 대의 스마트폰이 마이크를 통해 소리 신호의 에너지를 수집하고, SocioPhone은 협력적인 방법으로 현재 대화 상황의 volume-topography와 energy-threshold 분류기를 만든다. 이를 기반으로 시스템은 “누가 언제 말했는지" 및 overlap 정보를 추론한다. 제안된 시스템은 효율적인 자원 사용, 정확한 대화 Turn 감지 그리고 주변 환경에 대한 강인함을 장점으로 다양한 환경에서 벌어지는 일상 대화를 모니터링 할 수 있는 기반을 제공한다. 본 논문에서는 실제로 다양한 환경에서 시스템의 성능 실험을 수행하였다, 그 결과, 제안된 시스템은 80~93%의 turn 모니터링 정확도와 75~78%의 overlap 감지 정확도를 보였으며, 기존 시스템의 절반 정도에 해당하는 자원사용률을 보였다.
