We propose a system that tracks category-level 6D object pose and updates the virtual replica in the digital twin corresponding to the real-world object. Recent studies on 6D pose tracking proposed deep-learning-based networks to estimate and track the 6D pose using keypoints or features extracted from RGB and depth images. However, multi-stage pipelines, including detection and refinement stages, have a long inference time for real-time 6D pose tracking. For this reason, we utilize a single-shot network, CenterSnap, to achieve fast 6D pose tracking for category-level multiple objects. CenterSnap extracts the 6D pose and 3D sizes and generates a 3D bounding box from them. We use the keypoints of the 3D bounding box by applying the optimized Kalman filter and Euclidean distance algorithm to jointly track the 6D pose. In addition, we propose 2D detector-based filtering that removes the false positive predictions and corrects the classification results of the 6D object pose tracker. We conduct the 2D object tracking using YOLOv7, Kalman filter, and Hungarian algorithm. The Intersection over Union and center distance are calculated between the 2D bounding boxes from the 6D pose tracking module and 2D tracking module. The tracked objects are filtered according to the degree of match of the object between the two modules. By comparing with the baseline, CeterSnap, our proposed system reduces the false positives through 2D detector-based filtering and increases true positives by tracking the 6D pose. 3D CAD models for each category are assigned as digital twins for real objects. Those models are created or removed in the Unity project, corresponding to the 6D pose tracking results. The tracked 6D poses are transmitted through the UDP server and transformed into the rotation and position value of the game object in Unity. Therefore, the real objects are synchronized with the virtual objects in the digital twin.
본 연구는 범주 수준 객체의 6D 자세를 추적하고 실제 객체와 대응되는 가상 복제 객체를 디지털 트윈에 업데이트 하는 시스템을 제안한다. 6D 포즈 추적에 대한 최근 연구는 RGB 및 깊이 이미지로부터 추출한 키포인트 또는 특징점들을 사용하여 6D 포즈를 추정하고 추적하는 딥러닝 기반 네트워크를 소개하였다. 하지만 객체 탐지 및 자세 정제 단계 등을 포함하는 여러 단계 파이프라인은 실시간 6D 자세 추적을 하기엔 추론에 걸리는 시간이 길다. 이러한 이유로, 우리는 범주 수준의 다중 객체에 대한 빠른 6D 포즈 추적을 구현하기 위해 단일 샷 네트워크인 CenterSnap을 활용한다. CenterSnap은 객체 6D 자세와 3D 크기를 추출하여 이로부터 3D 바운딩 박스를 생성한다. 최적화된 칼만 필터와 유클리드 거리 알고리듬을 적용하여 3D 바운딩 박스 키포인트로 6D 자세를 함께 추적한다. 또한 6D 객체 자세 추적 모듈의 거짓 양성 예측값을 제거하고 분류된 객체 범주 결과를 알맞게 변환하는 2D 탐지 기반 필터링 기법을 제안한다. 우리는 YOLOv7와 칼만 필터 및 헝가리안 알고리듬을 사용하여 2D 객체 추적을 수행한다. 6D 자세 추적 모듈과 2D 추적 모듈의 2D 바운딩 박스 사이의 IOU와 중심간 거리를 계산한다. 추적된 객체는 두 모듈간 탐지된 객체의 일치 정도에 따라 필터링을 거친다. 베이스라인인 CenterSnap과 비교했을 때 논문에서 제안한 시스템은 2D 탐지 기반의 필터링을 통해 거짓 양성을 줄이고 탐지된 6D 자세를 추적함으로써 참 양성을 증가시켰다. 각 범주에 맞게 3차원 캐드 모델을 실제 객체를 위한 디지털 트윈으로써 할당하였다. 모델들은 6D 자세 추적 결과에 따라 유니티 프로젝트에 생성되거나 삭제된다. 추적된 6D 자세는 UDP 서버를 통해 전송되고 유니티 속 게임 오브젝트의 회전과 위치 값으로 변환된다. 따라서 실제 객체는 디지털 트윈 속 가상 객체와 동기화된다.
