Estimating hand and object pose from images has emerged as a promising research field due to the increasing demand for practical applications in virtual and augmented reality. The primary objective of this research is to understand the interaction between a hand and an object. To capture the intricate interaction, most existing approaches estimate meshes of the hand and object to represent hand-object interaction, such as contact region. Recently, graph neural networks (GNNs) is used to leverage the graph-like structure of the hand and object meshes, enabling the incorporation of spatial information during inference. However, existing GNN-based methods have not fully exploited the potential of these graphs by not changing their connectivity (edges) within and between different classes. In this thesis, we propose a graph-based refinement method that improves initially estimated hand and object meshes from an image. Our method considers hand-object interaction via an interaction-aware graph attention mechanism, connecting highly-correlated nodes between intra-class graphs and between inter-class graphs. Experiments demonstrate that our proposed method improves accuracy in estimating hand and object pose, and aspects of hand-object interaction.
이미지로부터 손과 물체의 자세를 추정하는 것은 가상/증강 현실에서의 여러 실용적인 응용 분야의 부상과 함께 유망한 연구 분야가 되었고, 해당 연구의 주된 목표는 손과 물체 간의 상호작용을 이해하는 것이다. 이를 위하여 복잡한 손-물체 상호작은 접촉지역으로 표현되며, 현존하는 방법들은 손과 물체의 포즈를 메시(mesh)형태로 추정한다. 최근에는, 추론 과정에서 그래프 구조인 손과 물체의 메시의 공간적 정보를 효과적으로 활용할 수 있는 그래프 신경망(GNN)이 사용되고 있다. 그러나, 기존의 GNN 기반 방법은 같은 클래스 및 다른 클래스 간의 노드 간선을 변경하지 않아서 그래프의 모든 특성을 활용하지 않았다. 본 논문에서는 이미지로부터 초기 추정된 손과 물체의 메시를 개선할 수 있는 그래프 기반의 보완 방법을 제안한다. 제안한 방법은 같은 클래스 및 다른 클래스 간에 상관 관계가 높은 노드를 연결하여 상호작용을 고려하는 그래프 어텐션 메커니즘이다. 실험을 통하여 본 연구에서 제안한 방법이 손과 물체의 자세 추정 및 손-물체 상호작용 측면에서 보다 정확한 결과를 도출할 수 있음을 입증하였다.
