A novel stroke reconstruction algorithm is presented for a magnetometer-aided inertial measurement unit (mIMU). Normally, the objective stroke reconstruction task is accomplished by double integration of the acceleration. But the accelerometer output are consists of two components, motion-driven translational component and static gravitational component. If the static gravity are constant while moving the hand, the bias error can be eliminated easily by advanced position trajectory reconstruction method
[1]. But the orientation of the device changes practically during motion, so the gravitational acceleration is not constant. So the general static component elimination methods [1], [2], [3] can’t compensate the variant gravity component. To solve this problem, previous research progress to estimate the orientation of device using additional sensor, such as gyroscope. Normally, a sensor module consisting of the accelerometer
and gyroscope is called inertial measurement unit (IMU). Since the IMU is introduced, many people try to apply the IMU to stroke reconstruction. But the IMU cannot estimate static orientation, so it can’t be used in static or slow moving condition. Also, the gyroscope spends high power dissipation than accelerometer and the calibration of gyroscope is relatively cumbersome.
In this thesis, we will propose the novel orientation estimation algorithm for both stationary and moving mIMUs using two kinematic constraints, without gyroscope. Suggested constraints are derived from human’s characteristics of pre-learned, habitual motion which is acquired in their life. First pen-tip constraint assumes people doesn’t flip their palm while drawing some strokes, second minimum-joint motion constraint assumes the human motion occurs based on several human joint like, elbow and wrist. Based on these constraints, the static gravity is estimated for the orientation estimation to reconstruct the stroke. Specifically, MJM can be implemented in different ways. MJM-ej method consists of two optimization loops, outer loop for optimization of roll angle around the IMU longitudinal axis and inner loop for estimating a virtual common joint. But this method required higher computational load because of double loops. So MJM-ad method is devised for less computation, but the global feature is not considered. So modified MJM-ad, MJM-Gad is suggested.
To demonstrate the superiority of the proposed algorithm, exclusive mIMU hardware is designed and tested. To evaluate the performance of the proposed system, Arabic numerical strokes are collected with the exclusive mIMU and classification experiments have been carried. But the reference, original stroke doesn’t exist, so pre-drawn guide strokes are given to subjects while they are drawing strokes in the air. The objective of this guide stroke is to minimize the variation of position trajectory among subject and to concentrate the variation of orientation change among subject. By compensating the
orientation change, I expect the proposed system recognizes the stroke well regardless of subjects. But the classification based evaluation just confirms the performance of the proposed system indirectly from discriminant aspect. To verify the performance of reconstruction actually, direct comparison between original stroke and reconstructed stroke is necessary. So I interlock two systems, mIMU and Kinect. Optical motion tracking system can reconstruct the position trajectory successfully in limited situation.
So conventional optical motion tracking system (Kinect) is used to generate original strokes, and the reconstructed strokes by conventional smart phone (iPhone) are compared the generated semi-original strokes. In order to evaluate the system in more realistic situation, more complex strokes (alphabet strokes) are collected and tested. And any guide stroke is not given to subjects, because I want subjects moves their hand freely. With these experiments, we demonstrate the proposed system reconstruct the
stroke accurately.
Meanwhile, the body-mounted sensor, accelerometer and magnetometer are calibrated precisely. Each sensor is calibrated based geometric distance based ellipsoid fitting algorithm [4]. And additional post-calibration which makes the angle αMG between static gravity vector and magnetic vector constant is suggested. As a result of the calibration, both magnitude variation and angle αMG variation become
too much less than 8 point simple calibration.
최근 컴퓨터의 초소형화가 이루어지면서 컴퓨터의 활용영역이 폭발적으로 확대되어 우리 일상생활이 이루어지는 곳이라면 어디서나 컴퓨터가 존재하게 되었다. 이러한 유비쿼터스 컴퓨팅 기술이 대두됨에 따라서 그에 적합한 새로운 형태의 컴퓨터 입력방법이 요구되기 시작했다. 키보드나 마우스 같은 기존의 입력 방식은 데스크 탑이나 노트북에는 적합하였으나, 스마트 폰이나 테블릿-PC와 같은 작아지고 가벼워진 컴퓨터에 적용하기에는 크기와 무게 등에서 사용에 용이하지 못하다. 최근 구글에 개발하여 공급하고 있는 구글 음성 인식기가 이러한 차세대 입력 방식의 한 예라고 할 수 있다. 하지만 음성 인식 방법 역시 시끄러운 환경에서 성능에 보장받지 못하고, 공공장소에서 사용하기에 무리가 있다. 이러한 단점을 보안하고자 사람의 움직임을 이용한 입력 방식이 제안되고, 연구되어 지고 있다. 이러한 움직임에 기반한 컴퓨터 입력 방식은 크게 외부에 장치를 필요로 하는 방식과 외부에 장치가 따로 필요 없는 자족적인 방식으로 나뉜다. 일반적을 광학 장치를 이용한 첫 번째 방법은 움직임의 복원 능력은 뛰어나지만, 장치의 동작 영역이 제한 받기 때문에 적용 분야 역시 제한 받게 된다. 이에 비해 외부 장치가 필요 없다는 장점 때문에 자족적인 방식은 비록 성능은 좀 떨어지지만, 응용 분야가 다양하다는 장점을 가진다. 자족적인 방식에 있어서 움직임의 복원은, 기본적으로 가속도 센서를 이용하여 움직임에 의한 가속도 신호를 측정하고, 그로부터 두 번의 적분을 통해서 이루어지게 된다. 하지만 가속도 센서의 출력이 움직임에 의한 가속도 성분만 있는 것이 아니고, 자세에 따란 회전 변환된 중력 가속도가 함께 섞여 있기 때문에 이에 대한 고려가 필요하다. 선행 연구들은 자이로 센서를 사용하여 자세를
추정하고, 이를 이용하여 가속도 출력 중에서 움직임에 의한 가속도만 뽑아내는 방법을 사용하였다. 이러한 방식은 구현은 쉬우나 정적인 상황에서 자이로 센서의 성능이 보장되지 못하기 때문에 정지했거나 느리게 움직이는 경우에 사용이 제한된다. 또한 가속도 센서, 자이로 센서와 같은 관성센서의 경우 편류오류(drift error)가 존재하는데 자이로 센서를 이용하여 자세를 추정하는 경우, 이러한 편류오류가 적분되어서 시간에 따라 추정 값의 에러가 증가한다. 이러한 편류오류를 최소화하기 위해서 자이로 센서의 보정이 요구되는데, 가속도 센서와 지자기 센서와 달리 동적인 회전 관성을 측정해야 하기 때문에 특별한 보정 기계가 필요하다. 또한 자이로 센서의 전력 소모는 가속도 센서, 지자기 센서에 비해 10배 이상이고, 가격도 수배 비싼 것으로 조사되었다. 기존 방식의이러한 단점을 극복하고자, 본 연구에서는 자이로 센서를 대신하여 지자기 센서를 이용한 자세 추정 방법을 제안하였으며, 이를 응용하여 사람의 학습된 형태의 움직임, 즉 3차원 필기체 문자 복원 및 인식 알고리즘을 개발하였다. 선행 연구에서 가속도 센서와 지자기 센서를 이용한 자세 추정 방법은 정적인 경우, TRIAD 알고리즘을 사용하여 쉽게 해결하였다. 이러한 TRIAD 알고리즘은 원칙적으로 끼인각이 회전변환에 영향을 받지 않는 두 개의 독립적인 벡터가 존재한다는 가정하에 성립된다. 하지만 사용되는 두 센서 중에 가속도 센서의 출력은 사람의 움직임에 따라 벡터의 방향이 바뀌기 때문에 기본 가정을위배하게 된다. 이를 해결하기 위해서 두 가지 운동학적인 제한 조건을 제안하여 가속도 센서의 출력 중에서 중력 가속도 성분을 추출하였다.
첫 번째 제한 조건은 사람들이 손 끝이나 펜을 가지고 허공에 글자를 쓸 때, 손 끝이나 펜 끝이 향하는 벡터를 중심축으로 하는 회전이 발생하지 않는다는 것이고(PTC), 두 번째 조건은 허공에 그려진 손 끝의 궤적상의 한 점과 그 점에서의 손 끝이 향하는 벡터의 연장선이 팔꿈치에 대응하는 관절점 근처에서 교차된다는 것이다(MJM). 특히, 두 번째 조건은 구현 방법에 따라 MJM-ej, MJM-ad, 그리고 MJM-Gad으로 나뉜다. MJM-ej방법은 가상의 교차점을 정의해서 교차점과 연장선사이의 거리를 최소화하는 방식이다. 이 방법은 가상의 교차점을 추정하기 위해서 최적화 기법을이용하기 때문에 이중으로 최적화 기법이 사용되어서 계산량이 많아진다는 단점이 있다. 이에 대안으로 제안된 MJM-ad방법은 이웃한 두 연장선들 사이의 거리를 최소화시키는 방법이다. 하지만 이 방법은 연장선들의 전역적인 특성이 고려되지 않기 때문에 MJM-ej에 비해 성능적인 면에서 약점을 가진다. MJM-Gad는 이러한 MJM-ad의 단점을 해결한 방법으로 인접한 연장선뿐 아니라 모든 연장선들 사이의 거리를 최소화하는 방법이다. 제안된 방법의 우수성을 검증하기 위해서, 가속도 센서와 지자기 센서를 포함한 전용 보드를 제작하여 필기체 숫자에 대해서 복원 및 인식 실험을 진행하였다. 복원 실험의 경우, 본래의 손의 궤적을 알 수 없기 때문에 실험자의 움직임을 동일하게 유도하기 위해서 데이터를 모을 때 실험자에게 숫자 견본을 제시하였다. 따라서 복원의 정도는 제시된 견본과 복원된 숫자를 비교하여 판단하였다. 인식 실험의
경우, DTW를 인식기로 사용하고 추출된 가속도, 속도, 위치, 그리고 세 정보의 조합을 특징 정보로 사용하여 가속도 센서만을 사용한 경우와 성능 비교를 해보았다. 특히 위치 정보의 경우 인식 성능이 가장 크게 향상되었으며, 이는 앞선 복원 실험의 결과와 함께 제안된 방법의 궤적 복원에 있어서 우수하다는 사실을 입증하는 근거가 된다. 실질적으로 제안된 방법의 복원성능을 평가하기 위해서는 본래의 손의 궤적을 알아야 하기 때문에, 적어도 제한된 상황에서 복원성능이 우수한 광학 장치를 이용해서 본래의 손의궤적을추정하였다. 본연구에서는대표적인움직임복원 시스템인Kinect를사용하였으며, 가속도 센서와 지자기 센서에 기반한 복원 시스템과 연동시키기 위해서 기본의 전용 보드 대신에 Kinect 연결된 데스크탑과 통신이 가능한 스마트폰을 이용하여 실험을 진행하였다. 더불어 좀 더 실질적인 움직임에 대해서도 제안된 방법이 잘 동작하는지 알아보기 위해서 좀 더 복잡하고 많은 종류를 가진 필기체 알파벳으로 필기체 숫자를 대체하였다. 복원 및 인식 실험의 결과, 필기체 숫자에 비해서는 왜곡이 있긴 하지만 가속도 센서만 사용한 경우에 비해서는 월등한 성능 향상을 보였으며, 기존의 가속도 센서와 자이로 센서를 사용한 경우와 비슷한 성능을 보였다. 자이로 센서의 단점을 고려해 보았을 때, 제안된 방법의 우수한 성능은 상당히 의미 있는 결과이다. 한편, 가속도 센서와 지자기 센서의 정확한 보정을 위한 방법 역시 제안되었다. 먼저 Ellipsoid fitting 알고리즘을 기반으로 한 보정 방법을 사용하였으며, 추가적으로 가속도 벡터와 지자기 벡터의 끼인각의 변동폭을 최소화하는 2차 보정단계를 제안하였다.
결과적으로 보정 정확도가 상당히 향상되었다.
