Detecting objects in the surrounding environment is essential for autonomous driving to predict the surrounding vehicle's future motion and plan a route. Deep learning has become an active research tool for object detection tasks due to its ability to extract increasingly better features. The image-based object detection network mimics the human cognitive process and detects objects based on rich texture information. However, since the image-based 3D object detector is limited to 2D image plan data, it is impossible to infer 3D depth information accurately. Most image-based 3D object detectors do not utilize sequential information, even though the object's historical location and movement are significant for predicting the next frame in the human cognitive process. In this paper, we propose a new method to reduce object 3D location inference error and improve 3D object detection accuracy by considering the displacement of an object in sequential images. First, the proposed network is trained with a pair of sequential images, and the network predicts the uncertainty of the object's depth as an additional output. Second, the final 3D location is refined based on the object's depth in the two sequential images, the displacement in the depth direction, and the uncertainty for each. The experimental results demonstrate that our proposed method reduces average translation error and improves the detection accuracy by properly propagating the object's information in the previous frame to detect the object in the current frame. The method proposed in this paper is expected to play a vital role as an advanced technology to improve the accuracy of 3D object detection.
자율주행 기술 구현을 위해 차량 주변 객체의 종류를 식별하고 위치를 인지하는 과정은 필수적이며, 심층 학습 기반의 네트워크는 높은 인식 성능을 보이고 있다. 이미지 기반 객체 감지 네트워크는 물체의 형태와 색상 등 풍부한 질감 정보를 기반으로 인간의 인지 과정을 모방하여 객체를 감지합니다. 하지만, 이미지 기반의 3차원 객체 검출 네트워크는 2차원 이미지 평면에서 공간의 깊이 정보를 유추해내기 어려워 객체의 정확한 위치를 찾는 데에는 한계가 따른다. 한편 시간의 흐름에 따른 객체의 위치 변화는 사람의 인지 과정에서 다음 장면을 미리 앞서 예상하고 객체를 인식하는데 중요한 정보로 사용되지만, 현재 개발된 대부분의 이미지 기반 3차원 객체 검출 네트워크는 이러한 정보를 활용하지 않고 있다. 본 논문에서는 한 장의 이미지가 아닌 여러 장의 연속된 이미지를 사용하여 객체의 변화된 위치를 고려함으로써 객체의 위치, 그중에서도 특히 깊이방향의 위치 추론 오차를 줄이고 3차원 객체 검출 정확도를 개선하는 새로운 방법을 제안한다. 첫번째로, 한 쌍의 연속된 이미지를 입력받아 객체 검출 네트워크 학습하였고, 객체 깊이에 대한 불확실성을 추가 정보로 예측하였다. 두번째로, 연속된 이미지에서 객체의 깊이 방향의 변위를 직접 예측 후, 두 이미지에서의 객체의 깊이, 깊이 방향의 변위 그리고 각각에 대한 불확실성을 토대로 3차원 공간 상의 최종 위치를 재추정하였다. 실험 결과, 제안한 방법은 이전 프레임의 객체 정보를 적절하게 전파함으로써 현재 프레임의 객체 검출 정확도를 향상시킴을 보여준다. 본 논문에서 제안하는 방법은 자율주행 차량에서 주변 환경 3차원 객체 인식 정확도를 향상시키는 핵심 기술로써 역할을 기대할 수 있다.
