Interactive control of a 3D avatar is crucial to provide immersive experience for a VR user. Extensive research has been conducted on 3D avatar control techniques that allows a VR user to control a 3D avatar and interact with virtual objects while it moves around a large virtual environment. However, the research primarily focused on control system for a VR user who can physically walk around and there has been limited research on continuous control method for a seated VR user. In this work, the proposed method generates physically plausible full-body movement of a 3D avatar by combining GAN-based imitation learning with sparse sensor and directional control rewards. In this work, we propose a new reward function for sparse sensor tracking. Furthermore, we discuss how the value of the weights in this reward function affects the overall result of the generated motion. Our results show that a seated VR user can use sparse sensor signals and directional control inputs to realistically control a physic-based 3D avatar and interact with various virtual objects according to the laws of physics, e.g. blocking thrown projectiles, punching a target, or picking up an object.
VR 사용자에게 몰입감 있는 경험을 제공하기 위해 아바타를 인터랙티브하게 제어하는 것은 매우 중요한 연구이다. 현재까지 VR 사용자의 움직임에 따라 3D 아바타가 넓은 가상 환경 내에서 움직이고 가상 물체와 상호작용할 수 있는 3D 아바타 제어 기술에 대한 광범위한 연구가 진행되어 왔다. 그러나 이전 연구는 주로 물리적으로 걸어 다닐 수 있는 VR 사용자에 초점을 맞추었고, 앉아 있는 VR 사용자를 위한 연속적인 아바타 제어 방법에 대한 연구는 제한적이었다. 본 연구에서는 GAN 기반의 강화 학습과 희소 센서 추적 보상 및 방향 제어 보상을 결합하여 물리 법칙을 따르는 3D 아바타의 전신 움직임을 생성하고 제어하는 방법을 제안한다. 본 연구에서는 희소 센서 추적에 대한 새로운 보상 함수를 제안한다. 더불어 이 보상 함수의 가중치의 값이 생성된 동작의 전체 결과에 어떤 영향을 미치는지 논의한다. 또한 앉아 있는 상태의 VR 사용자가 희소 센서 신호와 방향 제어 입력을 사용하여 물리 기반 3D 아바타를 가상 환경 내에서 현실감 있게 움직일 수 있으며 물리 법칙에 따라 다양한 가상 물체와 상호작용할 수 있는 결과를 보여준다. 본 연구의 제어 방법을 통해 3D 아바타는 물체를 집고 던져진 발사체를 막거나 목표물을 펀치하거나 테니스 공을 가격하는 등의 여러 상호 작용 동작을 수행할 수 있다.
