Computer puppetry maps the movements of a performer to an animated character in real-time. In this thesis, we provide a comprehensive solution to the problem of transferring the observations of the motion capture sensors to an animated character whose size and shape may be different from the performer's. Our goal is to map as many of the important aspects of the motion to the target character as possible, while meeting the online, real-time demands of computer puppetry. We adopt a Kalman filter scheme that ad-dresses motion capture noise issues in this setting. We provide the notion of importances that allow determining which aspects of the performance must be kept in the resulting motion based on interaction of the performer with its environment and self-interaction among the performer's segments. We intro-duce a novel inverse kinematics solver that realizes these important aspects formulated with geometric constraints within tight real-time restriction. Our approach is demonstrated by its application to broadcast television performances.
본 논문에서는 실제 연기자의 동작을 실시간으로 가상 캐릭터에 대입하기 위한 기법을 다룬다. 특히, 가상 캐릭터의 크기나 형태가 실제 연기자와 다른 경우에 동착 포착 장비를 통해 얻어진 실제 연기자의 동작 정보를 가상 캐릭터에 적합하도록 적절히 변형하여 자연스러운 동작을 얻기 위한 해결책을 제시한다. 매 순간 입력되는 실제 연기자의 동작을 분석하여 동작에서 중요한 특징을 판단하고 이를 최대한 유지하게 함으로써 자연스러운 동작을 실시간으로 생성한다. 칼만 필터를 적용하여 동작 포착 과정에서 나타나는 잡음을 제거하고 실제 사람의 외부 물체와의 상호작용이나 자가 상호작용에 기반하여 최종적인 가상 캐릭터의 동작에 반드시 반영되어야 하는 중요한 특징을 분석하는 기법을 제안한다. 그리고 중요한 특징을 보존하는 최종 동작을 실시간으로 생성하기 위해서 효율적인 역운동학 기법을 소개한다. 본 논문에서 제안하는 실시간 동작 변형 및 대입 기법은 실제 방송에 사용되어 성능을 입증한 바 있다.
