The 3D precision measurement technology plays a crucial role in the quality control of products in the shipbuilding and manufacturing industries. In practical applications, Time-of-Flight optical measurement systems are commonly used for precise measurement of large ship blocks, but they are cumbersome and time-consuming. To address this challenge, research has been conducted on the 3D reconstruction of ship blocks using stereo cameras. Calibration is performed to determine camera parameters, and 3D shapes are reconstructed. However, the large size of ship blocks leads to significant perspective differences between images, making it difficult to apply conventional stereo matching techniques. Consequently, manual selection of measurement points in each image becomes necessary. In this study, we propose a novel stereo matching technique to address this issue and improve the identification of measurement points on captured ship blocks. Initially, a dataset of stereo images of ship blocks is constructed through various experiments. Subsequently, a feature matching network-based clustering process is applied to stereo images and the coordinates of query points. This process identifies keypoint clusters around query points and their centroids. Using these centroids as reference points, regions of interest (ROI) are obtained and preprocessed through co-visible region segmentation. A transformer-based algorithm predicts corresponding points on the target image, and their coordinates are obtained. Finally, these coordinates undergo a refinement process based on epipolar geometry. By utilizing this stereo matching technique, 3D coordinates for arbitrary points on the images can be obtained. This innovative approach is expected to overcome the inefficiencies of conventional measurement point identification, representing a groundbreaking technology in the field of stereo matching under wide baseline conditions.
3차원 정밀 계측 기술은 선박업 및 제조업에서 제품의 정도 관리를 위한 중요한 공정이다. 현업에서는 거대 선박 블록의 정밀 계측을 위하여 비행시간 측정(Time-of-Flight) 방식의 광파기를 사용하지만 번거롭고 시간 소모가 크다. 이를 해결하기 위해 stereo camera를 이용하여 선박 블록의 3차원 형상을 복원하는 연구가 진행되었다. 카메라의 파라미터를 계산하는 캘리브레이션을 수행하고, 3차원 형상을 복원한다. 다만 거대 선박 블록의 크기로 인해 각 영상의 구도의 차이가 커졌다. 따라서 기존 스테레오 매칭 기법을 적용하기 어려운 문제가 생겨 일일히 각 영상에서 계측점을 선택해야 한다. 본 연구에서는 이를 개선하기 위해서 촬영된 선박 블록의 계측점 특정을 새로 제안된 스테레오 매칭 기법을 통해 해결하고자 한다. 먼저 여러 실험을 통해 선박 블록 스테레오 이미지 데이터셋을 구축한다. 그 후 스테레오 이미지와 query point의 좌표를 입력으로 feature matching 네트워크 기반 군집화 과정을 거쳐 두 이미지에서 query point 주변의 keypoint 군집과 그 중심점을 얻는다. 이 점을 중심으로 얻은 ROI를 입력으로 co-visible region에 대한 segmentation을 거쳐 전처리 되고, transformer 기반의 대응점 예측 알고리즘을 거쳐 target 이미지 위의 대응점의 좌표를 얻어낸다. 마지막으로 이 좌표를 에피폴라 기하학 기반의 refinement 과정을 거쳐 조정한다. 본 스테레오 매칭 기법을 이용하면 이미지 위의 임의의 점에 대한 3차원 좌표를 얻을 수 있게 된다. 이는 기존 계측점 특정의 비효율성을 극복하고 넓은 baseline 조건의 스테레오 매칭 분야의 혁신적인 기술이 될 것으로 기대된다.
