In this paper, we present a novel data-driven character pose generation framework for indoor environment interactions. Given the desired root and upper-body pose as control inputs, our framework generates the character’s whole-body poses appropriate for furniture of various shapes and combinations while satisfying the control inputs. The pose generation framework is modeled by learning the conditional motion distribution and the diverse conditions are obtained on the control inputs such as the environment surrounding the character. To allow for generating diverse action types, we propose to model the classifier that automatically classifies the action types of the data frame and to model the prior distribution of noise for the pose generator networks as a mixture of Gaussians. Our framework learns the classifier and the prior distribution in an unsupervised manner by using the Gaussian Mixture Variational Autoencoder (GMVAE). We model the pose generator with two normalizing flow-based models that sequentially generate the upper and lower-body poses. We show that this two-part normalizing flows model increases the accuracy of satisfying the control inputs. In addition, we model the estimator network that predicts foot contact states to use the predicted foot contact states as another condition for pose generator models. We show that the foot contact conditions improve the quality of the generated motion. We demonstrate that our framework can create continuous character motion for indoor scene scenarios. We perform an ablation study to evaluate the advantages of the major components of our framework.
본 논문에서는, 실내 환경 내 인간 동작 생성을 위한 새로운 데이터 기반 캐릭터 포즈 생성 프레임워크를 소개한다. 목표하는 골반의 바닥 위치인 루트와 상체 포즈가 제어 입력으로 주어지면, 생성된 프레임워크는 제어 입력들을 만족시키면서 목표 루트 상의 다양한 모양과 조합 가구들에 적합한 캐릭터 전신 포즈를 생성한다. 조건부 동작 분포를 학습하는 방식으로 포즈 생성 프레임워크를 모델링 하였고 다양한 조건들은 캐릭터 주변 환경처럼 제어 입력상에서 얻어진다. 다양한 동작 종류를 생성할 수 있도록, 데이터 프레임의 동작 종류를 자동으로 분류하는 동작 분류기 모델과 혼합 가우시안(mixture of gaussians)으로 모델링한 포즈 생성 네트워크의 입력 노이즈의 사전분포를 제안한다. 본 연구에서는 동작 분류기와 혼합 가우시안을 가우시안 혼합 변분 오토인코더 (gaussian mixture variational autoencoder) 를 이용해 비지도 학습한다. 우리는 상체 포즈와 하체 포즈를 순차적으로 생성하는 두 가지 정규화 흐름(normalizing flow) 기반 모델로 포즈 생성기를 모델링한다. 우리는 둘로 나뉜 정규화 흐름 모델이 제어 입력을 충족하는 정확도를 증가시킨다는 것을 보여주었다. 또한, 발 접촉 상태를 예측하는 네트워크를 학습하고 포즈 생성기 모델의 또다른 조건으로 예측된 발 접촉 상태를 사용한다. 우리는 발 접촉 상태 조건이 생성된 모션의 질을 향상시킨다는 것을 보여주었다. 우리는 우리의 프레임워크가 실내 환경 시나리오에 대한 연속된 캐릭터 모션을 생성할 수 있음을 보여준다. 우리는 프레임워크의 주요 구성 요소의 장점을 평가하기 위해 절제 연구를 수행한다.
