The objective of the proposed work is to perform monocular vision based relative 6DOF pose estimation of the non-cooperative spacecraft autonomously during proximity operations in the orbit. This area of research has gained importance in recent years due to the increase of interest in the fields of Active Debris Removal (ADR) and On-Orbit Servicing (OOS). The aim is to provide an integrated robust solution to estimate the pose of the non-cooperative target spacecraft with respect to the chaser satellite in Rendezvous operations by using only monocular camera. The relative pose estimation has been performed using Convolutional Neural Networks (CNNs) and has outperformed the conventional image processing methods in achieving better accuracy and more availability of the pose solutions in harsh space environment. In this work, CNNs are replaced by the High-Resolution Transformer network to further improve the pose estimation accuracy by using less computation resources and low-resolution image. Moreover, the Transformers have inherited advantage to overcome the shortcomings of the translation equivariance and 2D neighborhood awareness in CNNs. Transformers also perform better for long range dependencies and does not generalize to just local features of the target objects.
First, the 3D model of the target satellite is reconstructed using corresponding 2D keypoints among different images of the dataset with the help of Inverse Direct Linear Transform (IDLT) method. Then, the pose estimation pipeline is developed with deep learning-based image processing subsystem and geometric optimization of the pose solver. The image processing subsystem perform target localization and draw a bounded box around the satellite body using CNN based architectures. Then, Keypoints Detection network perform regression to predict the 2D keypoints using Transformer based network architecture. Afterwards, the predicted keypoints based on their confidence scores are projected onto the corresponding 3D points of the known reconstructed 3D model, then the pose value is computed by reducing the reprojection error between 3D-2D points using PnP method. The pose is further refined between 3D model points and predicted keypoints using the Gauss Newton method.
The proposed architecture is trained and tested on Spacecraft Pose Estimation Dataset (SPEED) dataset and it shows the superior accuracy both in translation and rotation values. The architecture shows robustness against the drastically changing clutter background and light conditions in the images. Moreover, this method is using less floating-point operations and trainable parameters with low image resolution that make it one step closer for implementation on a space hardware. The resource efficient architecture is feasible for small satellites with low mass and power budget.
제안된 작업의 목적은 궤도에서 근접 작업 중에 비협조 우주선의 단안 비전 기반 상대 6DOF 포즈 추정을 자율적으로 수행하는 것입니다. 이 연구 분야는 ADR(Active Debris Removal) 및 OOS(On-Orbit Servicing) 분야에 대한 관심이 증가함에 따라 최근 몇 년간 중요성이 높아졌습니다. 목표는 단안 카메라만을 사용하여 랑데부 작전에서 추적 위성에 대한 비협조 대상 우주선의 자세를 추정할 수 있는 강력한 통합 솔루션을 제공하는 것입니다. 상대 포즈 추정은 CNN(Convolutional Neural Networks)을 사용하여 수행되었으며 열악한 우주 환경에서 포즈 솔루션의 더 나은 정확도와 가용성을 달성하는 데 있어 기존 이미지 처리 방법을 능가했습니다. 이 작업에서는 CNN을 고해상도 변환기 네트워크로 대체하여 더 적은 계산 리소스와 저해상도 이미지를 사용하여 자세 추정 정확도를 더욱 향상시킵니다. 또한 Transformers는 CNN의 번역 등분산 및 2D 이웃 인식의 단점을 극복할 수 있는 장점을 물려받았습니다. 또한 변환기는 장거리 종속성에 대해 더 나은 성능을 발휘하며 대상 개체의 로컬 기능으로만 일반화되지 않습니다.
먼저, IDLT(Inverse Direct Linear Transform) 방법을 사용하여 데이터 세트의 서로 다른 이미지 중 해당 2D 키포인트를 사용하여 대상 위성의 3D 모델을 재구성합니다. 그런 다음 딥러닝 기반 이미지 처리 서브시스템과 포즈 솔버의 기하학적 최적화를 통해 포즈 추정 파이프라인을 개발합니다. 이미지 처리 하위 시스템은 대상 위치 파악을 수행하고 CNN 기반 아키텍처를 사용하여 위성 본체 주위에 경계 상자를 그립니다. 그런 다음 키포인트 탐지 네트워크는 회귀 분석을 수행하여 Transformer 기반 네트워크 아키텍처를 사용하여 2D 키포인트를 예측합니다. 이후 신뢰도 점수를 기반으로 예측된 키포인트를 알려진 재구성 3D 모델의 해당 3D 점에 투영한 다음 PnP 방법을 사용하여 3D-2D 점 간의 재투영 오류를 줄여 포즈 값을 계산합니다. 포즈는 Gauss Newton 방법을 사용하여 3D 모델 포인트와 예측된 키포인트 사이에서 더욱 구체화됩니다.
제안된 아키텍처는 SPEED(Spacecraft Pose Estimation Dataset) 데이터 세트에서 훈련 및 테스트되었으며 변환 및 회전 값 모두에서 우수한 정확도를 보여줍니다. 이 아키텍처는 이미지의 급격하게 변화하는 배경과 조명 조건에 대한 견고성을 보여줍니다. 더욱이 이 방법은 부동 소수점 연산을 덜 사용하고 이미지 해상도가 낮은 학습 가능한 매개변수를 사용하므로 우주 하드웨어 구현에 한 단계 더 가까워집니다. 자원 효율적인 아키텍처는 질량과 전력 예산이 낮은 소형 위성에 적합합니다.
