Hand function is a key factor for Activities of Daily Livings as people grab things to eat and drink with their hands. For some of people suffering from Spinal Cord Injury or stroke, their weak hand functions lead to difficulties in performing the activities. Soft wearable hand robots, due to their non-rigid material characteristics, have been recently developed to assist people with a loss of hand mobility. However, these robots are not yet used in real-life environments, only having been prototyped at the research level. This is because while there have been a lot of hardware developments of wearable hand robots, their intelligence is yet underdeveloped. This thesis addresses the intelligence for wearable hand robots to seamlessly augment hand functions. First, to acquire contact information while grabbing objects, a fingertip force estimation method is developed, which does not require any sensors attached to robots. This thesis proposes Bending Time-Gradient Long Short-Term Memory (BT-LSTM) that deals with the non-linearity and hysteresis of the system and dynamic changes in sheath bending angle. Second, a new intention detection paradigm proposed for the users wearing the robots based on the following hypothesis: user intentions can be inferred through observing 1. The moving trajectories of hand and 2. Hand-object interaction. This thesis proposes Vision-based Intention Detection Network from the EgOcentric view (VIDEO-Net), a deep learning model that detects user’s grasping and releasing intentions. Third, this thesis generalizes the hypothesis to enable users to perform various bimanual activities like preparing breakfast. It proposes a Bayesian approach, Proximal-distal, Action-Intention modeling from Vision (Pro-ActIV), to predict what users intend to do with their fingers by analyzing the kinematics of the hand’s proximal parts in relation to object locations. The results from the proposed approaches take a step forward in order to augment the ability of users with a loss of hand mobility to perform their intended tasks without causing discomfort.
먹고 마시는 등의 일상 생활을 영위하는데 있어 손 기능은 필수적인 요소이다. 하지만, 척수 손상이나 뇌졸중 등으로 손 기능이 약해진 환자들은 이러한 일상생활동작에 제한을 받게 된다. 최근에 이러한 환자들을 보조/재활하기 위하여 소프트 웨어러블 핸드 로봇이 개발되고 있다. 이러한 로봇은 일상 생활에 활용 되는데에는 아직 한계가 존재하는데, 이는 활발하게 개발되어지고 있는 하드웨어에 비해 웨어러블 로봇의 지능은 개발이 더디기 때문이다. 본 논문은 소프트 웨어러블 핸드 로봇의 지능을 개발하여 상기한 환자들을 효율적으로 보조하는 데 목적을 두고 있다. 첫째, 웨어러블 로봇을 착용한 사용자가 물체를 잡을 때 접촉하는 접촉면에 가해지는 힘을 예측하기 위한 방법을 개발한다. 시스템의 비선형성과 히스테리시스, 그리고 텐던-쉬스의 동적인 움직임을 다루기 위한 딥러닝 기반 알고리즘을 제안한다. 둘째, 다음과 같은 가설에 기반하여 웨어러블 로봇을 착용한 사용자의 의도를 예측한다: 사용자의 의도는 손의 움직임 궤적과 손과 물체의 상호작용을 통해 추론할 수 있다. 본 가설을 검증하고 실제 척수손상환자가 사용할 수 있도록 딥러닝 기반 의도 인지 알고리즘을 제안한다. 셋째, 위의 가설을 일반화하여 로봇 착용자가 아침 식사 준비와 같은 다양한 양손 활동을 수행할 수 있는 방법론을 제안한다. 이를 위하여 손의 근위부분의 이동 패턴을 분석하여 사용자가 손가락으로 어떠한 행동을 하고자 하는지를 예측하기 위한 베이지안 기반 알고리즘을 제안한다. 본 논문에서 제안하는 방법론을 통하여 손기능을 상실한 사용자가 불편함 없이 의도한 작업을 수행할 수 있도록 하는 데 한 걸음 나아가게 되었다.
