Recently, studies on the estimation model of the relationship between the surface EMG signal and the intention of the user for controlling the prosthetic robot hand has been actively conducted. In the case of the conventional commercial product, the product is controlled based on the classifier capable of only discrete motions. Therefore, it is indispensable to develop a model-based intention estimation model to control proportional control of multiple robot fingers at the same time. In addition, due to the characteristics of the amputee, the information of the actual finger such as the fingertip force and the motion cannot be known, so the model should be learned by the unsupervised learning method. In the previous studies, they tried to estimate the intention using nonnegative matrix factorization, but it could not be applied to the prosthetic robot hand because it was a semi-unsupervised learning model and could not estimate simultaneous movements of the fingers. In addition, since it is a linear model, it has a limitation that it cannot estimate the nonlinearity of the human nervous system in relation to the finger motion. In this thesis, we propose a modified artificial neural network model to overcome the disadvantages of the conventional semi - unsupervised linear model. The proposed model can be used to estimate the simultaneous motion of fingers as well as to estimate the nonlinearity of the human neuromuscular system as a model applied by borrowing the form of the auto-encoder used in the existing image classification. The structure of the model is the same as that of the auto-encoder, but the cost function is modified to emphasize the independence of the finger movement and give a minimal hint to the finger movement. Proposed model has the following advantage against existing models.
1. It is possible to estimate the nonlinearity of human neuromuscular system by using artificial neural network.
2. The simultaneous movement of the fingers can be estimated by using Simultaneous activity data of the fingers. 3. Independence can be ensured by minimizing the interference of each finger movement.
To compare and evaluate the proposed model with the existing models (NMF, CSP, NMF-HP, Supervised Learning), we conducted to two experiments. First, through simulations, the performance of models was verified by the independency ratio (IR) of the fingers and RMSR value between the estimated finger movements and the fingertip force. Simulation results show that the proposed model has better performance than the conventional semi-unsupervised models (NMF, CSP, and NMF-HP). In comparison with the supervised learning method, the RMSE value is similar in finger activation parts but, Proposed model showed better performance in finger inactivating parts and Proposed model showed better performance in IR index. In the second experiment, a target reaching experiment was conducted by using models to reflect the control of the actual number of robots. Subjects conduct to reach the target displayed on the monitor screen at a predetermined position in real time. In this experiment, the proposed model showed better performance than the other models. In order to evaluate the correlation between the two experiments, we analyzed the correlation between RMSE, IR and the target reaching experiment indices. The correlation between the RMSE value and the target reaching experiment indices was small and the correlation between IR and the target reaching experiment indices was large. This confirms that independency ratio between the fingers is greater importance in the case of real-time control of the number of robots.
최근 로봇 의수 제어를 위해 표면근전도 신호와 사용자와의 의도 간의 관계 추정 모델에 관한 연구가 활발히 진행되고 있다. 기존의 상용화 된 의수의 경우, 분리된 여러 동작만이 가능한 분류기 기반으로 의수를 제어 하고 있다. 따라서 여러 로봇 손가락의 동시에 비례적으로 제어하기 위해 모델 기반의 의도 추정 모델 개발이 필수적이다. 또한 절단 환자의 특성상, 손가락 끝 힘, 움직임 등의 정보를 알 수 없기 때문에 모델을 자율학습으로 학습할 수 밖에 없다. 기존 선행 연구의 경우 행렬의 양수 분해를 통해 의도를 추정하고자 하였지만, 손가락의 동시움직임을 추정하지 못하여 실제 의수에 적용할 수는 없었다. 또한 선형 모델이므로 손가락 운동에 대한 인간의 신경운동계의 비선형성을 추정할 수 없는 한계점을 갖는다. 본 학위논문에서는 기존의 반 자율적 선형 모델의 단점을 극복하기 위해 새로운 오토인코더를 이용한 모델을 제안한다. 제안 된 모델은 기존의 이미지 분류에서 사용되고 있는 자기부호화기 (Auto-encoder)의 형태를 차용하여 응용한 모델로써, 손가락의 동시움직임을 추정할 수 있을 뿐만 아니라 인간의 신경운동계의 비선형성을 추정 할 수 있는 모델이다. 비용 함수에 손가락 움직임의 독립성을 강조하고, 손가락 움직임에 대한 최소한의 힌트를 주는 형태로 모델을 개발했다. 제안 된 모델은 기존 모델에 비해 다음과 같은 장점을 갖는다.
1. 인공신경망을 이용한 모델로써 인간의 신경운동계의 비선형성을 추정할 수 있다.
2. 손가락의 동시활성데이터를 활용하여 손가락의 동시움직임을 추정할 수 있다.
3. 각 손가락 움직임의 간섭을 최소화하여 독립성을 확보할 수 있다.
제안 된 모델(CAE)를 기존 모델(NMF, CSP, NMF-HP, Supervised Learning)과 비교, 평가하기 위해 두 실험으로 나누어 진행했다. 첫째로는 시뮬레이션을 통해 각 모델의 성능을 RMSE 값과 손가락들간의 독립율(Independency ratio, IR) 이라는 두 지표를 통해 비교 검증했다. 제안한 모델이 기존의 선형 모델과 비교하여 두 지표 모두 좋은 성능을 보였고 손가락에 힘을 주지 않는 부분에 대해서는 제안한 모델이 월등히 좋은 성능을 보였다. 두번째 실험은, 실제 로봇 의수의 제어를 반영하기위해 각각의 모델을 이용하여 사람이 실시간으로 모니터 화면에 표시된 타겟을 정해진 위치에 도달하게 하는 타겟도달실험을 수행했다. 이 실험의 경우 제안 된 모델이 다른 모델들보다 좋은 성능을 보였다. 두 실험 간의 연관성을 평가하기 위해 RMSE, IR과 타겟도달실험의 지표와의 상관관계를 분석하였는데, RMSE값과 타겟도달실험간의 상관관계가 적었고, IR과 타겟도달실험간의 상관관계가 크다는 것을 보였다. 이는 로봇 의수의 실시간 제어의 경우, 각 손가락 간의 독립성이 더 큰 중요성을 갖는다는 것을 확인한 것이다. 따라서 본 학위논문에서는 기존 모델에서 반영하지 못했던, 인간 신경운동계의 비선형성 추정과 각 손가락의 독립성 확보가 실제 로봇 의수의 실시간 제어에 성능 향상을 꾀할 수 있음을 검증했다.