The paradigm for using computer is slowly changing from one person-one computer to one person-many computers. This kind of change is named by ubiquitous computing and to realize ubiquitous computing, three key words should be considered, everywhere, invisible and unconsciously. In this paper, a user identification method for the realization of personalized service for ubiquitous home environment is introduced.
Biometrics is the automated use of physiological or behavioral characteristics to determine or verify identity. And in view of ubiquitous home environment, easy-to-use biometrics such as gait or footprint is more appropriate than others. But, use of only gait or footprint in real application is not easy by its low recognition rate.
This dissertation addresses a new biometrics, dynamic footprint which is defined as a time sequence of footprints during a single gait cycle. So, dynamic footprint is 2D projected information of 3D human walking action and includes both footprint shape information and gait information together.
Based on dynamic footprint, three conspicuous problems are considered. One problem is to make a feature, from dynamic footprint, which can represent human footprint shape and to develop a user identification method via this shape feature. Another problem is to make a feature, dynamic footprint, which can represent human gait information and to develop a user identification method via this gait feature. And, the other problem is to develop a combined method which can handle both shape information and gait information together.
For the first problem, user identification via footprint shape, we analyzed the previous footprint-based user identification methods and found a fact that the footprint during stepping gives more robust results than the footprint during standing since the most important part in a foot for person identification is the toe part. In addition, the overlapped footprint during a single gait cycle is very similar to the stepping footprint. So, we make a procedure to get the aligned overlapped footprint image from dynamic footprint and test with 11 people's data. As a result, we could get 91.36% recognition rate which is better than previous Nakajima's result 86.55%. Even though this system could show better results than Nakajima's standing posture-based system, footprint shape is proved to be still not good to achieve enough information by low spatial resolution of existing sensor. So, additional information which is independent with footprint shape is necessary to achieve high performance.
For the second problem, user identification via gait information, two different feature, Center-Of-Pressure(COP) trajectories and Center-Of-Area(COA) trajectories for each foot were considered. And to use a varying length time-series data as a feature, we designed modified direction-based quantization method and various HMM-based recognizers for the dynamic footprint. As a result, we found that COP is better than COA to represent the gait information. And the maximum recognition rate was 79.5% in 11 people's data. This result is not good enough but meaningful since COP trajectory can also act as another cue for user identification.
For the final problem, user identification via both footprint information and gait information, we made a unified feature extraction procedure for extracting the overlapped footprint shape and COP trajectories of each foot simultaneously. And, we construct a final decision stage as weighted sum of the results from each independent information. Here, weights are learned by Levenberg-Marquart learning method in the registration process. As a result, we could get 98.64% recognition rate, in 11 people's data, which is a quite good result.
Finally, since the measurement of dynamic footprint is done by the embedded pressure sensor without consciousness of the user, this new type of user identification method based on dynamic footprint is appropriate for the ubiquitous computing environment.
최근 들어 컴퓨터 및 네트웍 기술이 발전함에 따라 기존의 한 사람이 하나의 개인 PC만을 사용하던 시대에서 점차적으로 한 사람에게 여러대의 컴퓨터가 눈에 띄지 않게 서비스해주는 유비쿼터스 컴퓨팅의 시대가 도래하고 있다. 유비쿼터스 컴퓨팅이란 컴퓨터가 어디에서나 (everywhere) 존재하지만, 사용자의 눈에 띄지 않고 (invisible) 사용자가 느끼지 못하는 사이에 (unconsciously) 서비스를 해줄 수 있는 기술을 지칭한다. 본 논문에서는 이러한 유비쿼터스 환경 중에서도 특히 집안 환경에서 사용자에게 개인화된 서비스를 제공 (사용자를 능동적으로 인식해 각 사용자에게 가장 적합한 서비스를 제공) 할 수 있는 환경을 만들기 위한 목적으로 사용자를 능동적으로 인식해낼 수 있는 새로운 생체측정기술을 소개한다.
생체측정(biometrics) 기술이란 지문, 홍채, 목소리, 걸음걸이 등 인간의 생리적이거나 행동적인 특징을 이용해 그 사람이 누구인지, 즉 ID를 찾아내는 자동화된 방법이다. 유비쿼터스 홈과 같은 환경에서는 무엇보다도 사용자의 편의성이 중요시되므로 기존의 다양한 생체측정 기술 중에서도 음성, 얼굴인식, 걸음걸이(gait), 발자국(footprint) 등의 기술이 적합할 수 있다. 하지만 실제 유비쿼터스 홈 환경에서 사용할 경우 센서와 사용자의 상대적 거리 또는 바라보는 각도 및 주변 변화 등의 요인으로 인해 높은 인식률을 기대하기가 힘들다.
본 논문에서는 사용자의 편의성을 높임으로써 발생되는 이와 같은 문제를 해결하기 위한 한 방편으로 동적 발자국이라는 새로운 생체 특징을 제안한다. 동적 발자국이란 한 걸음걸이 사이클 (single gait cycle) 동안에 발생되는 발자국들의 시간에 따른 분포들로써, 한 걸음동안의 발자국 영상들의 시계열 데이터의 형태를 갖는다. 비록 동적 발자국이 기존에 사용되지 않았던 새로운 생체특징이긴 하나, 이는 걸음걸이 정보의 2차원적인 투영에 해당되고 또한 발자국 정보를 같이 내포하고 있으므로 걸음걸이 정보와 발자국 정보의 결합된 형태라고도 이해할 수 있다. 결국 어떤 사용자의 ID를 찾기 위해 서로 독립적인 두 정보를 결합해 사용함으로써 각각의 정보만을 사용할 때보다 더 좋은 성능을 기대할 수 있다는 것이 본 연구의 시작 동기에 해당된다.
구체적으로 본 논문에서는 세가지 독립된 문제를 풀고자 한다. 첫번째 문제에서는 동적 발자국에서부터 발자국 모양의 특징을 찾아내고 이를 이용해 사용자를 식별하고자 한다. 이는 기존 발자국을 이용한 사용자 식별 문제의 분석을 통해 발뒤꿈치부터 발가락까지 눌러 찍는 발자국의 모양이 가만히 서 있을 때의 발자국의 모양보다 사용자 식별 능력이 더 탁월하다는 것을 유추해냄으로써 해결하게 된다. 구체적으로는 동적 발자국들을 서로 겹치게 해서 얻어진 발모양을 위치 및 각도를 조정해 템플릿 (template) 으로 만든 뒤 템플릿 매칭 (template matching) 방법을 이용하는 것이다. 최종적으로 11명의 두달간 획득한 데이터를 기준으로 테스트한 결과 91.36%의 식별률을 얻어낼 수 있었으며 이는 기존의 발자국 이용 방법에서의 최고 식별률인 10명 기준 86.55% 보다 훨씬 높았다. 비록 기존 방법에 비해서는 높은 식별률을 보였지만 실제로 이용하기에는 여전히 만족스럽지 못한 수준이라 할 수 있다.
두번째 문제는 동적 발자국에서부터 걸음걸이의 특징을 찾아내고 이를 이용한 사용자 식별 방법을 만드는 것이다. 동적 발자국의 측면에서 걸음걸이는 압력분포의 변화로 표시되기 때문에 우리는 각 발바닥의 압력중심의 변화궤적과 면적중심의 변화궤적을 실험해보았고 이때 매 측정때마다 길이가 달라지는 시계열 데이터를 효과적으로 다루기 위해 은닉 마코프 모델의 방법을 응용해서 이용하였다. 결과적으로 압력중심의 변화궤적이 면적중심궤적보다 식별 능력이 뛰어났으며 11명 기준으로 79.5%의 식별률을 보였다. 이 식별률의 수치 자체는 상당히 낮지만 압력 중심 궤적만으로도 사용자의 식별이 어느정도 가능하다는 점에서 의미가 있다고 할 수 있다.
마지막 문제는 앞의 두가지 독립적인 정보를 효과적으로 결합하는 방법을 찾고 결과적으로 보다 높은 인식률을 얻어내는 것이 문제이다. 다양한 결합방법들을 고려해본 뒤 얻어낸 최종 결론은 가중치에 의한 선형 결합 방법이었으며 이 때 가중치는 학습데이터에 최적화되도록 등록단계에서 학습을 통해 결정하였다. 최종적으로 만들어진 시스템에서는 11명 기준으로 98.64%의 식별률을 얻어낼 수 있었다.
본 논문에서 제시한 바와 같이 사용자 인식을 위하여 동적 발자국이라는 새로운 생체측정 기술을 이용함으로써 곧이어 다가올 유비쿼터스 홈 환경에서 다양한 개인화 서비스의 구현을 기대할 수 있을 것이라 예상된다.
