We introduce PartSTAD, a method designed for the task adaptation of 2D-to-3D segmentation lifting. Recent studies have highlighted the advantages of utilizing 2D segmentation models to achieve high-quality 3D segmentation through few-shot adaptation. However, previous approaches have focused on adapting 2D segmentation models for domain shift to rendered images and synthetic text descriptions, rather than optimizing the model specifically for 3D segmentation. Our proposed task adaptation method finetunes a 2D bounding box prediction model with an objective function for 3D segmentation. We introduce weights for 2D bounding boxes for adaptive merging and learn the weights using a small additional neural network. Additionally, we incorporate SAM, a foreground segmentation model on a bounding box, to improve the boundaries of 2D segments and consequently those of 3D segmentation. Our experiments on the PartNet-Mobility dataset show significant improvements with our task adaptation approach, achieving a 7.0\%p increase in mIoU and a 5.2\%p improvement in mAP\textsubscript{50} for semantic and instance segmentation compared to the SotA few-shot 3D segmentation model.
본 학위논문에서는 3차원으로의 파트 분할을 위해 설계된 PartSTAD를 제시한다. 최근 연구들은 소수의 데이터를 이용한 고품질 3차원 분할을 수행하기 위해 2차원 분할 모델을 활용하는 방법을 채택했다. 그러나 이전의 접근법은 2차원 분할 모델을 최적화 할 때, 3차원 분할을 목적으로 하는 대신 렌더링된 이미지와 입력 텍스트에 대해 2차원 분할 또는 검출을 정확하게 수행하도록 학습하는 것에 중점을 두었다. 본 논문에서 제안하는 태스크 적응은 2차원 분할 모델을 최적화 할 때, 기존의 방법이 2차원 분할 또는 검출을 목적 함수로 사용하는 것과 다르게 3차원 분할을 목적 함수로 사용한다. 그리고 이를 위해 2차원 바운딩 박스에 대한 가중치를 도입하고, 이 가중치를 예측하는 간단한 신경망을 기존의 2차원 분할 또는 검출 모델에 추가하여 기존의 모델을 직접 최적화하는 대신 추가된 작은 신경망을 최적화하는 방법을 사용한다. 추가적으로 2차원 분할모델인 SAM을 결합해 2차원 분할의 경계를 더 정확하게 개선함으로서 3차원 분할의 경계 또한 개선시키는 방법을 제안한다. 본 논문에서 제안된 태스크 적응 방법은 PartNet-Mobility 데이터셋을 사용한 의미적 분할과 인스턴스 분할 실험에서 최첨단 모델 대비 각각 mIoU 7.0\%p, 그리고 mAP\textsubscript{50} 5.2\%p의 성능 향상을 보여준다.
