There are two main ways of learning and operating an autonomous vehicle. One is between finding an optimization relationship by learning without having to design a module by designing perception, decision, and control algorithm by using a camera, LiDAR, GPS, and HD maps. Another approach is end-to-end driving. Currently, end-to-end learning is already showing remarkable performance in many fields, and some areas already surpass human’s performance. Thus, it is expected that the end-to-end driving method will learn the optimal driving skills and find an optimized combination for input values under the assumption that it can collect enough data, and that it will show performance beyond the modular method defined by humans. In this paper, variational autoencoder(VAE) will be introduced, which can compress high-dimensional information to low-dimension. We will propose interpretable end-to-end driving based on reinforcement learning in continuous space using VAE. In addition, we will verify the simulation to the real world algorithm performance in the real world. Finally, one episode was designed by dividing it into several smaller episodes to make the sparse rewards dense, and we will verify that the proposed algorithm is a technology that effectively guides the end-to-end-based autonomous vehicle to reach the final destination.
자율주행 자동차의 학습 및 운용 방식에는 크게 두 가지 접근법이 존재한다. 하나는 카메라, 라이다, GPS, 정밀 지도를 활용하여 인지, 판단, 제어 알고리즘 구성해 주행하는 모듈러 주행 방식과 사람이 모듈을 직접 설계하는 것 없이 학습을 통해 스스로 최적 관계를 찾아 정책을 설립하고 이를 통해 주행하는 종단간 주행 방식이 존재한다. 현재 종단간 학습 방식은 여러 분야에서 놀랄 만큼의 퍼포먼스를 보여주고 있으며 몇몇 분야에서는 이미 사람을 뛰어넘는 퍼포먼스를 보여주고 있다. 종단간 주행 방식 또한 데이터를 충분히 모을 수 있다는 가정하에 스스로 학습을 하며 입력값들 간의 최적화된 조합을 찾아 사람이 정의한 모듈러 주행 방식을 뛰어넘는 성능을 보여줄 것이라 예상되고있다. 본 논문에서는 단안 카메라로부터 획득한 다루기 힘든 고차원의 이미지를 변분 오토인코더를 통하여 다루기 쉬운 저 차원의 공간으로 disentangle 하게 압축하는 기술과 이를 통해 얻은 압축된 저 차원의 정보인 잠재 변수를 상태 값으로 사용하는 강화학습 기반의 종단간 자율주행 알고리즘을 제안한다. 그리고, decoding 네트워크를 통해 해석 가능한 종단간 자율주행 기술을 제안한다. 제안된 네트워크를 통해 simulation to real world 문제에 접근해 보고 실제 도로 환경에서 성능을 검증한다. 마지막으로, 희소한 보상을 밀집하게 만들기 위해 하나의 에피소드를 여러 개의 작은 에피소드로 나누어 설계하였고, 제안된 알고리즘은 종단간 자율주행 차량이 최종 목적지까지 도달하도록 효과적으로 인도하는 기술임을 검증한다.
