Recently, models that estimate individual finger movements using surface electromyogram (sEMG) signal have been suggested for proportional and simultaneous control of prosthetic robot hand. Amputee cannot provide physical finger movement and this fact drives those models to be generated in semi-unsupervised way, in which a model is trained with only input samples (sEMG). The models showed the degradation of performance when several fingers activate simultaneously because they trained using only individual finger activation data for the semi-unsupervised way. Simultaneous finger activation data should be included in the training because most of daily hand movements involve simultaneous activation of multiple fingers.
In this paper, we propose a model using any type of activation data (individual, simultaneous, or both) by modifying a conventional nonnegative matrix factorization (NMF) algorithm with the help of Hadamard product. The proposed model is called as NMF-HP. By adopting the Hadamard product, NMF-HP has two advantages. First, it can use simultaneous activation data for the training. Second, NMF-HP provides high independency for each finger estimation by reducing interference between fingers.
NMF-HP was assessed in two tests comparing with the conventional models; NMF, common spatial pattern(CSP), and linear regression(LR). The first test measured root mean square errors(RMSE) between true values and estimated values from each model. It showed the proposed model, NMF-HP, were better than the other semi-unsupervised models, NMF and CSP, and the supervised model, LR was the best as expected. On the other hand, the second test, in which participants were instructed to reach given targets of each finger using the estimation of model and its visual feedback to the participants (thus, this test demonstrates the models in real use), showed a different result that NMF-HP was the best among the models. Consequently, it was shown that two advantages of NMF-HP were effective in real use of the model.
To explain the disagreements of the two tests, a new index was suggested and verified. The new index measures independency between estimations of each finger. Correlation test between the result of the second test and RMSE or the new index showed the new index had much higher correlation than RMSE. This result verified that the new index is another important index to assess a model.
최근 로봇 의수 개별 손가락의 동시적이고 비례적인 제어를 위해 표면근전도를 이용하여 각 손가락의 개별 움직임을 추정하는 모델들이 제안되었다. 절단 환자의 특성상 실제 손가락의 움직임 정보를 제공할 수 없으므로, 이러한 모델들은 반자율적 방법으로서 출력 샘플 없이 만들어진다. 이 모델들은 여러 손가락을 동시에 움직일 때는 추정 성능이 좋지 않았는데, 이는 반자율적 방법을 위해 한번에 한 손가락이 움직일 때의 데이터만 가지고 모델을 만들 수 있기 때문이다. 일상 생활의 많은 동작들은 동시에 손가락을 움직이는 동작들이 많으므로, 여러 손가락이 동시에 활성 될 때 데이터도 모델링 시에 포함되어야 한다.
본 학위 논문에서는 기존 반자율적 방법들이 사용할 수 없었던 이런 동시활성 데이터를 사용할 수 있는 모델을 제안한다. 제안된 모델(Nonnegative Matrix Factorization with Hadamard Product, NMF-HP)은 기존 비음수 행렬 분해를 이용한 모델(Nonnegative Matrix Factorization, NMF)에 하다마드 곱을 적용하였다. 하다마드 곱을 적용함으로써 NMF-HP는 NMF대비 두 가지 장점을 갖게 되는데, 첫째로, 동시활성 데이터를 훈련 데이터로 사용할 수 있고, 둘째로, 각 손가락끼리의 간섭을 줄여 개별 손가락의 독립성을 높일 수 있었다.
NMF-HP의 성능을 평가하기 위해 기존 모델들인 NMF, CSP (Common Spatial Pattern), LR(Linear Regression)과 두 가지 테스트를 통해 비교 검증하였다. 모델의 정확도를 RMSE로 측정하는 첫 번째 테스트에서는 제안한 NMF-HP가 기존 반자율적 방법들인 NMF와 CSP보다 좋은 성능을 보였고, 지시적 방법인 LR보다는 낮은 성능을 보였다. 반면 실제 의수 사용을 반영한, 각 손가락의 추정된 텐던 힘을 가지고 사람이 실시간 제어를 통해 주어진 타겟에 직접 도달하는 두 번째 테스트에서는 제안한 NMF-HP가 다른 모든 모델들보다 좋은 성능을 보였다. 따라서 기존 모델들이 갖지 못했던 NMF-HP가 갖는 성질인 동시활성 데이터 사용 및 각 손가락 간의 독립성 향상이 실제 의수를 사용하는 상황에서의 성능 향상으로 이어짐을 확인할 수 있었다.
모델링 에러 RMSE와 실시간 성능간에 연관성이 적은 이런 현상을 설명하기 위해, 본 논문에서는 추정된 손가락 값 간의 독립율이라는 새로운 지표를 제안하고 검증하였다. RMSE 또는 독립율과 두 번째 테스트의 실시간 성능 사이의 상관관계를 구하여, RMSE보다는 독립율이 두 번째 테스트의 성능과 훨씬 큰 상관관계를 갖는 다는 것을 보였다. 곧, 독립율이 실시간 성능을 훈련 데이터에서 평가할 수 있는 중요 지표라는 것을 확인하였다.
