Data driven models of human poses and soft-tissue deformations can produce very realistic results, but they only model the visible surface of the human body and cannot create skin deformation due to interactions with the environment. Physical simulations can generalize to external forces, but their parameters are difficult to control. In this paper, we present a layered volumetric human body model learned from data. Our model is composed of a data-driven inner layer and a physics-based external layer. The inner layer is driven with a volumetric statistical body model (VSMPL). The soft tissue layer consists of a tetrahedral mesh that is driven using the finite element method (FEM). Model parameters, namely the segmentation of the body into layers and the soft tissue elasticity, are learned directly from 4D registrations of humans exhibiting soft tissue deformations. The learned two layer model is a realistic full-body avatar that generalizes to novel motions and external forces. Experiments show that the resulting avatars produce realistic results on held out sequences and react to external forces. Moreover, the model supports the retargeting of physical properties from one avatar when they share the same topology.
인체 포즈와 연조직 변형을 만들어내기 위한 데이터로부터 학습된 모델은 매우 사실적인 결과를 만들 수 있으나 이 방법은 눈에 보이는 인체 표면만 모델링할 수 있고, 환경과의 상호작용에 의한 피부 변형을 만들 수 없다. 물리 시뮬레이션 기법은 외력에 대한 변형을 만들어낼 수 있지만 그와 관련된 물리 파라미터를 제어하는 것은 어려운 문제이다. 본 논문에서는 데이터로부터 학습한 층으로 나누어진 부피가 있는 인체 모델을 제안한다. 우리 모델은 데이터로부터 학습한 내부층과 물리적인 시뮬레이션 기법이 적용되는 외부층으로 이루어진다. 내부층은 부피가 있는 통계적인 인체 모델(VSMPL)로 이루어지며 외부층인 연조직층은 유한요소법(FEM)에 의해 움직이게 될 사면체들로 구성되어있다. 우리가 제안하는 모델에 대한 변수는 인체를 층으로 분리하는 것에 관련된 변수와 연조직의 탄성력에 관한 변수로 이루어져 있으며 이 변수의 값들은 연조직변형까지 캡처된 데이터로부터 직접적으로 학습된다. 이렇게 학습된 두개의 층으로 이루진 모델은 새로운 모션과 외력에 의한 실제와 같은 변형을 만들어낼 수 있다. 결과적으로 만들어진 아바타는 주어진 시퀀스에 대해 진짜와 같은 결과를 만들어낼 수 있으며 외력에 반응하는 것이 가능하다. 또한 같은 메시 구조를 공유한 다른 아바타에 학습된 변수에 대한 값들을 옮기는 것이 가능하다.
