서지주요정보
Real-time full-body virtual avatar from sparse tracking data = 제한된 추적 정보를 이용한 실시간 전신 가상 아바타
서명 / 저자 Real-time full-body virtual avatar from sparse tracking data = 제한된 추적 정보를 이용한 실시간 전신 가상 아바타 / Dongseok Yang.
저자명 Yang, Dongseok ; 양동석
발행사항 [대전 : 한국과학기술원, 2020].
Online Access 원문보기 원문인쇄

소장정보

등록번호

8035864

소장위치/청구기호

학술문화관(도서관)2층 패컬티라운지(학위논문)

MGCT 20011

휴대폰 전송

도서상태

이용가능

대출가능

반납예정일

리뷰정보

초록정보

Currently, animating a full-body virtual avatar requires tracking data of six human joints including head, pelvis, two hands and two feet. However, trackers on feet often fail due to infrared occlusion caused by furniture and objects inside the playing area and relatively farther distance from tracking stations than the other trackers'. Moreover, commercial devices for virtual/augmented reality only offer three trackers on head and two hands as default; consumers have to buy additional trackers to experience full-body virtual avatar. In this paper, we introduce a neural network based method for real-time prediction of feet positions with limited number of tracking devices on upper body joints. From input tracking data and predicted feet positions, our framework reconstructs the full-body pose of a virtual avatar. With motion data with lower dimension of joints, preprocessed from existing motion capture dataset, we train a Gated Recurrent Unit (GRU) based neural network to predict feet positions in current time frame from the sequence of tracked transformations of head, pelvis and two hands. The full-body pose is computed from input upper body tracking data and output feet positions by an inverse kinematics solver. In addition, we propose regularization terms designed to minimize artifacts including foot-sliding, foot-floating and discontinuity between output poses. Our system contributes to produce plausible full body animation of a virtual avatar without direct tracking on feet joints, while being fast enough to run in real-time applications.

현재, 가상 아바타의 전신 동작을 재현하기 위해서는 머리, 골반, 양 손 그리고 양 발, 총 6개의 관절에 대한 추적 정보가 필요하다. 하지만 발에 부착된 추적 장치는 주변 환경에 존재하는 가구 또는 물체에 의해 발생하는 적외선 폐색 (occlusion)과 추적 스테이션으로부터의 상대적으로 먼 거리 때문에 추적을 상실하는 현상이 빈번하게 발생한다. 또한 상용화된 가상/증강현실 기기는 기본적으로 머리와 양 손, 총 3개의 추적 장치만을 제공하며, 가상 전신 아바타를 경험하기 위해서는 추가적인 추적 장치를 구매해야 한다. 해당 연구는 신경망 구조를 이용하여, 제한된 수의 추적 장치로부터 사용자의 두 발의 위치를 실시간으로 예측하는 방법을 제안한다. 추적된 양 발의 위치와 입력 추적 정보를 기반으로, 시스템은 가상 아바타의 전신 자세를 재구성한다. 기존의 모션 캡쳐 데이터를 전처리하여 생성한 저차원 데이터를 이용해 학습된 Gated Recurrent Unit (GRU) 기반의 네트워크는, 일정 시간 단위 내의 머리와 양 손, 그리고 허리의 추적 정보를 기반으로 현재 시점의 두 발의 위치를 추정하며, 시스템은 상반신의 추적 정보와 추정한 두 발의 위치를 목적으로 하는 역기구학 (Inverse Kinematics) 연산을 통해 아바타의 전신 자세를 생성한다. 이에 더해서 해당 연구는 연속적인 출력 자세로부터 생성되는 애니메이션에 나타나는 불연속성과 foot-sliding, foot-floating을 최소화 하기 위한 새로운 손실함수를 제안한다. 해당 시스템을 통해 사용자는, 직접적인 발의 추적 정보 없이 가상 아바타의 자연스러운 전신 움직임을 실시간으로 생성할 수 있다.

서지기타정보

서지기타정보
청구기호 {MGCT 20011
형태사항 iv, 33 p. : 삽도 ; 30 cm
언어 영어
일반주기 저자명의 한글표기 : 양동석
지도교수의 영문표기 : Sung-Hee Lee
지도교수의 한글표기 : 이성희
학위논문 학위논문(석사) - 한국과학기술원 : 문화기술대학원,
서지주기 References : p. 29-31
주제 Virtual Avatar
Real-time Animation
Machine Learning
Recurrent Neural Network
Gated Recurrent Unit
가상 아바타
실시간 애니메이션
기계학습
순환 신경망
게이트 순환 유닛
QR CODE qr code