This dissertation proposes an automatic fall detection system in a wearable device that can reduce risks by detecting falls and promptly alerting caregivers. For this purpose, we propose a novel user-adaptive fall detection system using a fusion of photoplethysmography (PPG) and accelerometer. One of the objectives is the proposed fall detection should be trained by using normal behavior data only to have high applicability in an actual environment. To meet the objective, unsupervised anomaly detection-based methods are attempted. Since the target application is a wearable device, the proposed fall detection system should be considered to have minimum energy consumption and computational complexity because of the heavy computational requirements of deep learning. Therefore, the proposed system is applied adaptive local offloading to save the energy of wearables and to have computational efficiency, which means the traditional machine learning approach for wearables and deep learning for handhelds. For the traditional one, the most effective feature subset of PPG and accelerometer is proposed which is the input of the clustering-based model for the purpose of demonstrating reliable performance and designing a low-complexity model. In addition, from this approach, this study also shows the effectiveness of the user-adaptive method when using both PPG and accelerometer signals and the performance increment of combining a PPG with an accelerometer. For the deep learning method, this study presents the first attempt to applying generative adversarial network (GAN)-based anomaly detection for fall detection by presenting an effective GAN-based model among the recently proposed nine models. In addition, the compelling GAN-based anomaly detection with partially surrounded feature-level data by the user's resting heart rate information (UI-GAN) is introduced. From the UI-GAN, the fall detection performance improvement is proved when using the user heart rate initial information. Moreover, the proposed UI-GAN is exhibited better performance than 20 conventional fall detection studies. Lastly, the proposed fall detection system is proved to be applied in wearables and handhelds through the feasibility test. This study is the first attempt to using initial information of users in GAN, and the effectiveness of the user initial information can be expected in other applications.
본 논문은 낙상을 감지하여 간병인에게 즉시 경고함으로써 위험을 줄일 수 있는 웨어러블 자동 낙하 감지기를 제안한다. 이를 위해 맥파 센서와 가속도계의 융합을 이용한 새로운 사용자 적응 낙상 감지 시스템이 제안된다. 본 논문의 목표 중 하나로써 실제 환경에서 높은 적용 가능성을 갖는 낙상 감지기의 설계를 위해, 정상 행동 데이터만으로 훈련할 수 있는 비지도 학습 기반 이상 탐지 방법이 시도된다. 제안하는 시스템의 타겟 어플리케이션은 웨어러블 장치이므로 딥러닝의 많은 계산량 및 에너지 소비를 만족시킬 수 있는 방법이 제안되어야만 한다. 따라서 제안하는 시스템은, 적응형 부하 분담을 적용하여 웨어러블 장치의 에너지를 절약하고 전체 시스템의 계산 효율성을 보일 수 있다. 다시 말해, 웨어러블 장치에 대해서는 기존의 기계 학습 방법을 적용하고, 핸드폰과 태블릿과 같은 장치를 대상으론 웨어러블로 부터 데이터를 전송받아 딥러닝 방법을 적용하는 것이다. 기존 기계 학습 방법의 경우, 본 논문에서는 맥파 및 가속도계 신호의 가장 효과적인 특징 집합이 제안되는데, 이는 신뢰할 수 있는 성능을 보여줄 뿐만 아니라, 저복잡성 모델을 설계하기 위한 군집 기반 모델의 입력이 된다. 또한 이 방법으로부터 맥파 및 가속도계 신호를 모두 사용할 때 사용자 적응 방법의 효과, 및 맥파와 가속도계를 결합할 때 발생하는 성능 증가를 검증한다. 딥러닝 방법으로써는 최근 제안된 9가지 적대적 생성 신경망 기반의 이상 탐지 모델 중, 낙상 감지에 가장 좋은 성능을 보이는 모델을 제시함으로써 적대적 생성 신경망 기반의 이상 탐지 방법을 낙상 탐지에 최초로 적용한다. 또한 사용자의 휴식 심박수 정보를 활용하여 부분적으로 둘러싸인 특징 레벨 데이터를 활용한 새로운 이상치 탐지 모델을 제안하였으며 (UI-GAN), 사용자 심박수 초기 정보를 사용할 때 낙상 감지의 성능 개선을 입증하였다. 제안하는 UI-GAN은 20개의 기존 낙하 감지 연구보다 더 나은 성능을 보여준다. 마지막으로 타당성 테스트를 통해 제안된 낙상 감지 시스템이 웨어러블 및 핸드헬드 장치에 적용할 수 있는 것을 입증한다. 이 연구는 적대적 생성 신경망에서 사용자의 초기 정보를 사용하는 첫 번째 시도이며, 다른 응용분야에서 사용자 초기 정보의 효과를 기대할 수 있다.