Motion retargeting reduces the animator's efforts when creating robot motion by adapting human motion. However, it still requires several manual landmark placements to achieve satisfactory whole-body retargeting. Therefore, to reduce efforts on placing landmarks for corresponding minor body parts, this dissertation first proposes the volumetric pose retargeting method for a general humanoid robot that considers body shape similarity in addition to traditional landmark-based similarity. An additional strategy that matches the volumetric distribution of the body shape between a human and a robot is presented as guidance to handle redundancy from fewer landmarks and to force consistent outcomes from ambiguous landmark placements. A kinematically constrained Gaussian mixture model originally used as a volumetric model-based human tracking method is adapted and modified to manage both the shape and the landmarks in the proposed method. The shape and landmark similarity metrics are respectively introduced, and the overall similarity metric is defined as the sum of both metrics with weighting coefficients to control the balance between the two policies by animators. Then, expectation-maximization based optimization is utilized to calculate the target robot angles with human demonstration frame-by-frame. The rigged pointset is proposed by extending the concept of rigged mesh and volumetric motion retargeting with the modification of the proposed volumetric pose retargeting to maintain motion smoothness for retargeting. From maintaining the initial shape correspondence during the retargeting motion, volumetric motion retargeting achieves temporal continuity, robustness in self-occlusion, and reduced computational cost. Both methods are validated by experimental results that demonstrate the effectiveness of body shape matching, controllability through weighting coefficients, and generality on applying different humanoid robots.
모션 리타게팅은 애니메이터가 직접 동작을 저작하지 않아도 사람의 동작을 대상 캐릭터에 전달함으로서 동작을 구현할 수 있다. 그러나 기존 방법은 랜드마크에 의존하여, 완성도있는 동작의 구현을 위해서는 다수의 랜드마크를 애니메이터가 몸 전반에 정교하게 수동으로 배치할 필요가 있었다. 특히 휴머노이드는 높은 자유도를 가져 몸 전체의 동작을 구현하기 위해서는 지엽적인 신체 부위까지도 랜드마크의 배치가 요구되었다. 이렇게 지엽적인 신체 부위에도 요구되어온 랜드마크 배치에 의한 노동을 줄이기 위해, 본 연구에서는 우선 체적 일치 전략을 통해 랜드마크에의 의존성을 감소시킨 휴머노이드 대상 자세 리타게팅 방법을 제안한다. 제안된 인간과 로봇의 체적을 일치시키는 전략은 기존의 인간과 로봇의 랜드마크를 일치시키는 전략에 더해져, 랜드마크가 적게 배치되었을 때 발생하는 여유 자유도 문제를 해결해준다. 또한 랜드마크에의 의존성을 감소시켜 결과물의 질이 일관되도록 이끌어준다. 이를 위해 체적 기반 인간 추적 방법론에서 사용되어온 기구적으로 구속된 가우시안 혼합 모델을 응용하여, 본 연구에서는 체적 유사도와 랜드마크 유사도를 고려할 수 있도록 변형하여 응용하였다. 또한 이들 사이의 비중을 조절하여 에니메이터가 원하는 결과로 이끌 수 있도록, 자세 유사도는 체적 유사도와 랜드마크 유사도의 가중합으로 정의하였다. 사람의 자세와 가장 유사한 로봇의 자세를 계산하는 데에는 기대값-최대화 방법론이 사용되었으며, 얻어진 로봇의 자세로부터 로봇의 각 관절의 각도값이 계산되었다. 이에 더해 본 연구에서는 동작 전달 시 동작의 부드러움을 유지하기 위해, 사람의 체적 표현을 위한 점집합의 리깅 방법과 이를 사용하는 체적 기반 모션 리타게팅 방법이 추가로 제안되었다. 점집합의 리깅 밥법은 애니메이션 분야에서 널리 사용되어온 메쉬 리깅 방법이 응용되었다. 또한 체적 기반 모션 리타게팅 방법은 위의 체적 기반 포즈 리타게팅 방법을 수정하여, 초기에 결정된 사람과 로봇 체적 간의 관련성이 전체 모션 리타게팅 내 유지되도록 하였다. 이를 통해 체적 기반 모션 리타게팅 방법은 동작의 부드러움이 유지됨과 함께, 자기 폐색에 강인해지며 계산량이 줄어든 효과를 얻었다. 제안된 두 체적 기반 포즈 리타게팅과 모션 리타게팅 방법은 모두 실험을 통해 랜드마크의 의존성을 줄이는 효과, 체적 일치 전략과 랜드마크 일치 전략 간 비중 조절 가능 여부, 다양한 사람의 동작과 다양한 인간형 로봇에의 적용 가능 여부가 검증되었다.
