Unintentional injuries in babies still frequently occur at households even today, and many of these injuries occur outside of baby cribs. Nevertheless, many conventional smart baby monitoring systems utilize facial image based baby detection methods, which places a limit for usage in diverse household environments. In addition, with recent concerns raised for the invasion of privacy for in-home baby monitoring systems, the privacy of the users need to be preserved. To overcome these limitations, thermal image-based full-body images of babies and adults were collected for detection of babies and adults; however, when using thermal images for detection tasks, misdetections due to thermal residual heat marks could incur, which could lead to dangerous consequences for babies in baby monitoring perspectives. In fact, from a preliminary experiment on thermal-image based baby and adult detection with RetinaNet, thermal residual heat mark accounted for the second most frequent source of misdetection in babies. Therefore, in this dissertation, a sequential thermal-image based adult and baby detection is presented that is robust to thermal residual heat marks. The proposed method leveraged thermal temperature difference between sequential image frame inputs as well as the relevant spatiotemporal architectures that rescales features not only based on global context of thermal images, but also thermal temperature difference characteristics. Results on the collected thermal image adult and baby detection dataset indicated that the proposed method showed best robustness in terms of misdetection due to thermal residual heat marks.
걸음마기 영유아의 가정 안전사고는 오늘날에도, 특히 아기 침대 밖 환경에서 빈번히 일어나고 있다. 그러함에도 불구하고 현존하는 스마트 아기 모니터링 시스템들이 사용하는 얼굴 이미지 기반의 영유아 검출 방법은 침대 밖 환경에서 영유아를 모니터링하는데 있어 제한점이 존재한다. 또한, 최근에 가정환경에서 사용되는 모니터링 시스템의 사생활 침해에 관련된 고려가 필요성이 있어 사용자의 사생활 보존이 필요하다. 기존의 한계점들을 극복하기 위하여 열화상 이미지 기반의 영유아/성인 가정환경 데이터를 수집하여 검출을 진행하였지만 열화상 이미지의 특성인 잔열 때문에 잘못된 검출이 빈번히 일어난 걸 확인했으며, 이는 위험상황 시 잔열로 인한 오인식으로 인하여 영유아를 위험상황에 빠트릴 수 있다. 그러하여 본 연구에서는 잔열에 강인한 영유아와 성인 검출을 위한 새로운 시계열 이미지 기반의 순차적 네트워크를 제안한다. 제안한 방법론은 열화상 이미지 프레임 간의 온도 차이와 이를 학습할 수 있는 교차 주의 모듈 및 시공간 통합 네트워크을 잔열의 변화량을 학습하는 네트워크이다. 제안한 모델을 수집된 열화상 이미지 데이터 셋에 학습시킨 결과 기존 다른 모델들에 비해 잔열에 가장 좋은 강인성을 보여주는 걸 확인하였다.
