Face masks have become increasingly common with the rise of global health issues, such as fine-dust storms and pandemics. By occluding the mouth, face masks potentially degrade the information delivery through the lips. This problem is likely to affect not only face-to-face conversations but also remote video communications. Although numerous studies have demonstrated the key role of visual cues from lips in communication, the audio-visual impact of wearing a mask on speech intelligibility has not been thoroughly studied. In this paper, we aim to quantify the audio-visual impact that masks have on the intelligibility of speech and mitigate this problem with possible technological interventions such as an augmented mask that provides visual cues of lips motion. Through a user study, we discovered that wearing masks significantly decreases speech intelligibility and users' confidence in their level of understanding. We designed the MAScreen, an augmented mask that shows lips motion that is detected with reflective object sensors and machine learning classifier. We evaluate it comparing with original mask following the previous study setting. For better performance with an augmented mask in communication, we suggest points of improvement and possible applications.
마스크 착용은 미세먼지, 판데믹과 같은 세계적인 보건 문제가 증가함에 따라 일상에서 점차 보편화되고 있습니다. 마스크는 얼굴의 하관부, 입을 가림으로써 음성을 통한 정보 전달을 저하시킬 가능성이 있으며, 이러한 문제는 대면 대화 뿐만 아니라 원격 통신 및 컴퓨터 지원 공동 작업에도 영향을 줄 수 있습니다. 의사 소통에서 입술의 시각 신호의 주요 역할이 다수의 연구에서 입증되었지만, 마스크 착용이 일상 소음 속에서 음성 명료도에 끼치는 시청각적 영향은 연구된 적이 없습니다. 본 논문에서는 말의 명료성에 대한 마스크의 시청각 영향을 정량화하고, 입모양을 인식하고 재현하는 증강 마스크와 함께 의사소통의 개선 방향을 제시하고자 합니다. 마스크 착용 여부를 비교하는 사용자 연구를 통해, 마스크가 음성의 명료성과 듣는 이의 인지 신뢰도를 통계적으로 유의하게 감소시키는 것을 확인했습니다. 이 문제를 완화하기 위해 가능한 기술적 개입을 제안하고 입술 움직임의 시각적 신호를 제공하는 증강 마스크, 마스크린을 개발했습니다. 개발한 마스크린을 이전 실험과 같은 환경으로 평가하였으며, 증강 마스크를 활용한 의사소통 개선 및 응용 방안을 제안합니다.
