We propose Seg&Struct, a supervised learning framework leveraging the interplay between part segmentation and structure inference and demonstrating their synergy in an integrated framework. Both 3D segmentation and structure inference have been extensively studied in the recent deep learning literature, while the supervisions used for each task have not been fully exploited to assist the other task. Namely, structure inference has been typically conducted with an autoencoder that does not leverage the point-to-part associations. Also, 3D segmentation has been mostly performed without structural priors that tell the plausibility of the structure created from the output segments. We present how these two tasks can be best combined while fully utilizing supervision to improve performance. Our framework first decomposes a raw input shape into segments using an off-the-shelf segmentation network, whose outputs are then mapped to nodes in a part hierarchy. Following this, a hierarchical message passing based on the structural priors regresses the parameters of part bounding boxes and classified the part relationships. Once the structure is predicted, the segmentation is rectified by examining the confusion of part boundaries using the structure-based part features. The refined segmentation can again be used to improve the predicted structure. Our experimental results based on the StructureNet dataset demonstrate that the interplay between the two tasks results in significant improvements in both tasks: 30.94% in structure inference and 0.6% in segmentation. We also showcase a structure-based shape retrieval that enables finding semantically similar shapes.

본 연구는 형상 부분 분할과 형상 구조 추론의 상호작용을 활용하는 지도학습 기반의 프레임웍을 제안하며, 이를 통한 두 문제 간의 상승효과를 입증한다. 3차원 형상 분할 및 형상 구조 추론은 모두 최근 심층학습 학계에서 널리 연구된 데 반해, 각각의 문제를 위한 지도학습이 서로 다른 문제를 보완하는 방법은 충분히 활용되지 않았다. 형상 구조 추론은 일반적으로 오토인코더 네트웍을 기반으로 연구되었으나 이는 점 대 형상 부분의 관계를 활용하지 못한다. 또한, 3차원 분할 연구는 분할 결과로부터 만들어진 형상 구조의 타당성을 알려주는 형상 구조적 사전 지식 없이 수행되었다. 본 연구는 두 문제의 성능을 향상시키기 위해, 각각의 지도학습을 충분히 활용하면서 동시에 두 문제를 가장 잘 결합할 수 있는 방법을 제시하고자 한다. 제안하는 프레임웍은 우선 형상 데이터를 최신 분할 네트웍을 통해 부분 분할하고, 분할 결과를 형상 위계 상의 노드로 매핑한다. 뒤이어, 형상 구조 사전 지식 기반의 위계적 정보 교환을 통해 형상 부분의 바운딩 박스 파라미터와 부분 간의 관계를 예측한다. 예측된 형상 구조는 구조 기반의 특징정보를 기반으로 형상 부분 간의 충돌을 조사하는 데 사용되어 형상 분할 결과를 개선한다. 이렇게 개선된 분할 결과는 또다시 예측된 형상 구조를 개선하는 데 사용된다. 본 연구는 StructureNet 데이터셋을 통한 실험 결과로, 두 문제 간의 상호작용이 각 문제를 상당히 개선할 수 있음을 입증한다. 이에 더해, 형상 구조 기반의 형상 검색 결과를 통해 본 연구가 의미론적으로 유사한 형상 탐색에도 활용될 수 있음을 보여준다.