I propose a deep learning algorithm that estimates 3D pose and 3D position of the human. The proposed algorithm uses 2D body joints as input and estimates the depth of each input joint. I back-project 2D body joints to 3D body joints using estimated joint depths under perspective projection assumption. Because of the ambiguity of depth estimation, I estimate the joint depth by separating it to the depth between the camera and the root of the human and the relative depth between the root of the human and each body joint. In this paper, unlike previous works that estimate two types of depth in parallel, I present a relational equation of the two types of depth based on a body symmetry constraint and use it to estimate the two types of depth sequentially. Furthermore, proposed method deals with many-to-1 matching relation between 2D pose and 3D pose which means that one 3D pose can be projected on the image plane as various 2D poses depending on the 3D position of the 3D pose. When estimating the joint depth, I encode 2D body joints with the 2D position of them in the image plane and design a novel loss to make proposed network restore a consistent 3D pose from various 2D poses generated from the 3D pose. The proposed algorithm can be applied to in-the-wild images because it minimizes the effect of the background by converting the input image into a body joint heatmap. The effectiveness of the proposed algorithm is verified by showing high pose estimation accuracy and distance estimationaccuracy for the existing 3D human pose benchmark.
본 논문에서는 이미지 내 등장하는 사람의 3차원 자세와 공간 상 위치를 추정하는 딥러닝 알고리즘에 대해 다룬다. 제안하는 알고리즘은 이미지 내 사람의 2차원 관절 위치를 입력으로 하며 입력에 대응되는 관절의 깊이 정보를 추정한 뒤 카메라의 원근투영법을 이용하여 3차원 역투영하는 과정으로 구성된다. 깊이 추정의모호성을 완화하기 위해 관절의 깊이 정보는 카메라와 사람의 중심 사이 깊이, 사람 중심부터 각 관절 사이의 상대적인 깊이 정보로 나뉘어 추정된다. 본 논문에서는 두 가지 유형의 깊이 정보를 병렬적으로 추정하는 기존 논문들의 방식들과 달리 신체 대칭성을 기반으로 하여 두 유형의 깊이 정보 간 관계 방정식을 제시하고 이를 이용해 직렬적으로 추정한다. 더 나아가 제안하는 알고리즘에서는 카메라의 원근투영법으로 인해 단일 3차원 자세가 투영되는 위치에 따라 다양한 2차원 자세에 대응될 수 있는 특징을 다룬다. 깊이 정보를 추정할 때, 주어진 2차원 관절 위치와 이미지 내 사람의 위치 정보를 같이 인코딩하고 학습 과정에서 새로운손실함수를 제안하여 단일 3차원 자세로부터 생성될 수 있는 다양한 2차원 자세는 일관된 결과로 복원되도록 유도한다. 제안하는 알고리즘은 2차원 관절 위치만을 입력으로 사용하여 배경의 영향을 최소화하기 때문에 일반 이미지 전반에 범용적으로 적용될 수 있다. 본 논문은 현존하는 3차원 사람 자세 데이터셋에 대해 높은 3차원 자세 및 위치 추정 성능을 보임으로써 우수성을 입증하였다.
