There have been attempts to estimate a 3D pose of human from 2D images and videos, but they have limitations due to the underlying ambiguity in which different 3D coordinates could be mapped to the same 2D coordinates. In this study, convolutional neural network was designed to estimate whether the hands and feet are the contact points from the video. To learn and evaluate the network, I had to create a dataset that were annotated with contact points for 200 wild video clips. Proposed network predicted the contact point with high accuracy. The contribution of this study is able to better predict 3D poses and trajectories by estimating contacts directly from video, which are physical constraints of human motions. Also, estimating contact points has contribution, for the reason that the contact points are important parts of modeling human-object interaction.
2차원 이미지 및 비디오에서 사람의 3차원 자세를 추정하려는 시도가 이루어지고 있지만, 이것은 다른 3차원 좌표가 같은 2차원 좌표로 매핑될 수 있는 근본적인 애매모호성 때문에 한계를 가진다. 본 연구에서는 비디오에서부터 양 손과 양 발에 대한 접촉 여부를 추정하는 컨볼루션 신경망 학습기를 고안하였다. 이를 학습하고 평가하기 위하여 200개의 정제되지 않은 비디오 클립에 대하여 접촉점 라벨링을 한 데이터 세트를 만들어서 사용하으며, 고안한 신경망을 통하여 높은 정확도로 접촉점을 추정할 수 있었다. 이 연구는 사람의 동작에서 물리적인 제약인 접촉점을 비디오에서 직접 예측하여 3차원 자세 및 경로를 더 잘 예측할 수 있으며, 사람-물체 상호작용을 모델링하는 데에 있어 중요한 부분인 접촉점을 추정한다는 것에서 의미를 가진다.
