The world is facing a major challenge on the population aging and the substantial health problems associated with the occurrence of fall. The fall can lead to serious physical and psychological consequences and even death. In order to counter this problem effectively, a proactive wearable inertial sensor based fall risk assessment system (FRAS) was recently developed. The aim of this study was to evaluate the newly developed FRAS system for assessing the elderly fall risk in terms of its functionality, accuracy, and usability, which is an important and necessary step before deployment of the newly developed system into future applications. Functionality evaluation includes the whole system proper working, accuracy check of the FRAS raw sensor data with the golden reference (Xsens 3D Motion Tracking System), and the quantification of the error (absolute and relative) involved in the measures of the testing protocols. For checking the model accuracy in the system, the confusion matrix is used for the accuracy quantification by comparing the FRAS prediction results with a history of fall. System diagnosis is evaluated with the help of conventional direct methods, where the results from the profile graph and decision tree were compared. System usability is assessed with system usability scale and mobile application rating scale questionnaires. In addition, system acceptability is also evaluated with the help of open-ended questions based on the technology acceptance model and unified theory of acceptance and use of technology.
Two-stage experiments were conducted for this evaluation, first on the 20 younger adults (age: 20-30 years) and the second on 50 older adults (age: 65 years or above). For FRAS sensors under static conditions, the highest relative error for acceleration was in the anteroposterior direction ($0.158 \pm 0.11$) and for the angular velocity in the mediolateral direction ($1.261 \pm 0.28$). This high error is due to the noise involved in the sensor data when there is no movement in the body. However, under the dynamic conditions, this relative error is reduced significantly for both acceleration in the anteroposterior direction ($0.027 \pm 0.19$) and angular velocity in the mediolateral direction ($0.118 \pm 0.18$). There is no statistically significant difference between the FRAS testing protocols output measures and the measures extracted from Xsens. In addition, the relative error involved in all the measures is within 10%. The FRAS prediction accuracy based on the majority voting (support vector machine, random forest, decision tree) for the external cohort data is 66% with 100% sensitivity and 43.33% specificity. However, the overall accuracy of the models based on 10-fold cross validation for the mixed data is 90% with 93% sensitivity and 86% specificity. The FRAS diagnosis accuracy is $86 \pm 21%$. The system usability score from SUS was $63.5 \pm 18.1$ (out of 100). This average SUS score lies at the high marginal end on the scale, which is close to the acceptable range. According to SUS adjective rating, this score lies in the good region, which is above ok. The intended elderly users were agree to use ($4.21 \pm 0.61$ out of 5) the system based on the technology acceptance evaluation.
Through this study, the accuracy of the FRAS in terms of basic sensor data, derived measures, model prediction, and technology acceptance is evaluated to check the potential of this newly developed system. The results will be used to improve the system functionality, and to add the well-trained, suitable machine learning models in the FRAS to enhance the accuracy of fall risk assessment. Based on the findings, the usability of the system should be improved further. The practical applications of the improved FRAS could not only improve the quality of life of the elderly but will also reduce the healthcare cost.
인구 고령화와 그에 따른 낙상 관련 건강 문제는 세계적으로 중대한 문제로 대두되고 있다. 낙상은 심각한 육체적, 정신적 상해로 이어질 수 있으며 죽음조차 야기하기도 한다. 이 문제에 효과적으로 대처하기 위해, 우리는 웨어러블 관성 센서 기반 사전적 낙상 위험 평가 시스템(FRAS)을 개발하였다. 이 연구의 목적은 고령자 낙상 위험을 평가하기 위해 새로 개발된 FRAS 시스템을 미래의 실제 운용을 위한 중요 단계로서 기능성, 정확도, 사용성 측면에서 평가하는 것이다. 기능성 평가는 시스템 전반의 정상적 작동 여부와 신뢰 가능한 참고 기준(Xsens 3D 동작 추적 시스템)과의 미가공 센서 데이터 비교, 그리고 테스트 프로토콜 측정치에 연관된 오차의 정량화를 포함한다. 시스템의 모델 정확도는 FRAS 예측 결과를 과거 낙상 기록과 대조하는 오분류행렬을 통해 정확도를 정량화함으로써 평가하였다. 시스템의 진단 능력은 기존의 직접적인 방법을 이용하여 프로필 그래프와 의사 결정 분지도에서 얻은 결과를 비교하여 평가하였으며, 시스템 사용성은 시스템 사용성 척도(SUS)와 모바일 앱 평가 척도(MARS)설문 문항을 통해 평가하였다. 추가로 기술 수용 모델과 수용 및 기술 사용에 대한 통합 이론을 기반으로 한 개방형 질문을 통해 시스템의 수용성 또한 평가하였다.
본 평가를 위해 두 단계의 실험을 진행하였는데, 첫번째 실험은 나이가 20대인 20명의 젊은 성인을 대상으로, 두번째 실험은 나이가 65세 이상인 50명의 고령자를 대상으로 수행하였다. 정적 조건 하의 FRAS 센서의 가장 큰 상대적 오차는 가속도의 경우 전후 방향($0.158 \pm 0.11$)에서, 각속도의 경우 내외 방향($1.261 \pm 0.28$)에서 나타났다. 몸 움직임이 없을 때의 큰 오차는 센서에 내재된 노이즈 때문인 것으로 보인다. 하지만 동적 조건 하에서는 상대적 오차가 가속도 전후 방향($0.027 \pm 0.19$)과 각속도 내외 방향($0.118 \pm 0.18$) 둘 다에서 유의하게 감소하였다. 테스트 프로토콜에서 FRAS와 Xsens 측정치 간에 통계적으로 유의한 차이는 없었으며 모든 측정치에서 10% 이하의 상대적 오차를 보였다. 외부 집단 데이터에의 다수결(서포트 벡터 머신, 랜덤 포레스트, 의사 결정 분지도) 기반 FRAS 예측 정확도는 66%(민감도 100%, 특이도 43.33%)로 나타났으나, 내외부를 합친 데이터에의 10겹 교차 검증을 통한 최종 모델 정확도는 90%(민감도 93%, 특이도 86%)로 증가하였다. FRAS 진단 정확도는 $86 \pm 21%$ 로 나타났다. SUS로부터의 시스템 사용성 점수는 $63.5 \pm 18.1점$(상한 100점)이었는데, 평균 SUS 점수는 SUS 평가 기준에 의거하여 만족스러운 수준에 머물렀다. 기술 수용성 평가에서 타겟 고령 사용자는 시스템 사용에 동의($4.21 \pm 0.61$ (상한 5))하는 것으로 나타났다.
본 연구를 통해 새로 개발된 시스템의 잠재성을 기본 센서 데이터, 도출된 측정치, 모델 예측, 기술 수용성 항목 측면에서 평가하였다. 해당 결과는 시스템 기능성과 사용성의 개선 및 낙상 위험 평가의 정확도를 높이기 위해 잘 훈련된 적합한 머신 러닝 모델을 추가하는 데 사용될 것이다. 연구 결과에 따르면 시스템의 사용성은 더욱 개선되어야 한다. 개선된 FRAS의 실질적 응용을 통해 고령자의 삶의 질을 개선할 뿐만 아니라 건강 관리 비용을 줄일 수 있을 것으로 기대된다.
