In this paper, we propose a novel training method to correct encoder-attention in semantic segmentation through fully-connected conditional random fields(CRFs) and train the attention of the encoder from the corrected encoder-attention. The novel training method allows the encoder to extract lane features robustly to the surrounding environment, and assists in interpolation of lane segments when the decoder upsamples from the features extracted by the improved encoder. Through the proposed training method, we present an efficient end-to-end lane detection model with few parameters and outperforming current state-of-the-art lane detection system. Deep learning models with various of structures and operations are being studied to improve the performance of the lane detection models for self-driving car around the world. However, because lane detection technology is an essential and important technology for self-driving technology, once a lane detection model is selected and applied to an embedded system, it is difficult to replace the model with another model whenever a performance improvement is needed. Therefore, in order to efficiently improve lane detection performance, instead of changing combinations of deep learning structures and operations, it is important to analyze and understand the internal structure and data flow of the lane detection model. In addition, it is also essential to find the factors that degrade the performance of the lane detection model. In this paper, we design a lane detection model using the encoder and decoder block of LinkNet structure which shows excellent performance in real-time semantic segmentation models. Besides, we analyze the physical meaning of encoder and decoder for lane detection. This resulted in that during upsampling of the decoder, noise of the surrounding background was found caused by passing to the decoder from wrong feature extraction of the encoder. Therefore, this paper proposes a novel training method to improve encoder performance through encoder attention and fully-connected CRFs. The proposed method is as follows. (1) One channel feature map representing an encoder is derived through encoder-attention. (2) The feature map of the encoder-attention is corrected considering the color information of the image and the binary information of the labeled lane through the fully-connected CRFs. (3) Encoder-attention is trained from target of the corrected feature map by fully-connected CRFs to learn post-processing of fully-connected CRFs. The proposed method extends receptive field of encoder and removes noise from background spatial features, instead of lane features. In this paper, to verify the effectiveness of the proposed method, we use three backbone networks to identify the difference of performance with or without the proposed method quantitatively. Through the proposed method, we present an efficient end-to-end lane detection model outperforming the performance of current state-of-the-art ENet-SAD and Spatial CNN. In addition, the performance of the model is verified with Tusimple dataset.
본 논문에서는 시멘틱 세그멘테이션 엔코더의 어텐션을 완전 연결된 조건부 랜덤필드로 보정하고, 보정된 특징점 맵을 타겟으로 엔코더의 어텐션을 학습 시키는 새로운 학습방법을 제안한다. 새로운 학습방법은 엔코더가 주변환경에 강인하게 차선 특징점들을 추출하게 하며, 엔코더로 추출된 특징점으로부터 디코더가 업샘플링 할 때 차선 세그먼트 보간에 도움을 준다. 이런 새로운 학습방법을 통해 현존 최첨단 차선인식 시스템 성능을 뛰어넘고 파라미터수가 적은 효율적인 엔드 투 엔드 차선인식 모델을 선보인다. 전세계적으로 자율주행을 위한 차선인식 모델들의 성능을 높이기 위해 다양한 심층학습 구조들과 연산을 가진 모델들이 연구되고 있다. 하지만 차선인식 기술은 자율주행 기술에 필수적이며 중요한 기술이기 때문에, 한번 차선인식모델을 선정해 임베디드 시스템에 적용하면, 성능 개선이 요구될 때마다 성능 좋은 모델을 찾아 모델을 완전히 바꾸기 어렵다. 따라서 심층학습 구조의 조합을 바꿔가며 연산을 복잡하게 하지 않고 효율적으로 차선인식 성능을 향상하기 위해서는, 차선인식 모델의 내부구조와 데이터의 흐름을 이해하고 모델의 성능을 저하시키는 요인을 분석해서 찾는 것이 중요하다. 본 논문에서는 실시간 심층 시멘틱 세그멘테이션 모델에서 뛰어난 성능을 보이고 있는 LinkNet 구조의 엔코더 디코더 블록을 이용해 차선인식 모델을 설계하고, 차선인식을 위한 엔코더와 디코더가 가지는 물리적인 의미를 분석한다. 이로부터 디코더의 업샘플링 과정에서 주변 배경에 대한 노이즈를 발견하게 되었고, 이 노이즈들은 엔코더의 잘못된 특징점 추출로부터 디코더로 전달되는 것으로 파악됐다. 따라서 본 논문은 엔코더 어텐션을 통해서 엔코더 성능을 높이는 새로운 학습방법을 제안한다. 제안하는 학습방법의 과정은 다음과 같다. (1) 엔코더 어텐션을 통해 엔코더를 대표하는 특징점 맵을 도출한다. (2) 완전 연결된 조건부 랜덤필드를 통해 이미지의 색깔정보와 레이블링된 차선의 이진화 정보를 고려해 엔코더 어텐션의 특징점 맵을 보정한다. (3) 보정된 특징점 맵을 타겟으로 엔코더 어텐션을 학습시켜 완전 연결된 조건부 랜덤필드 후처리 과정을 학습하게 한다. 제안하는 학습방법은 엔코더의 수용영역을 넓힐 수 있고, 차선이 아닌 주변 배경 특징점으로부터 디코더에서 업샘플링 되는 노이즈 들을 쉽게 제거할 수 있다. 본 논문에서는 제안하는 방법의 효과를 입증하기 위해 세가지 백본 네트워크들을 이용해 제안하는 방법의 유무에 따른 성능 차이를 정량적으로 확인한다. 그리고 제안하는 방법을 적용해서 현존하는 최첨단 차선인식 시스템인 ENet-SAD와 Spatial SCNN의 성능을 뛰어넘는 효과적인 엔드 투 엔드 차선인식 모델을 선보인다. 그리고 이 모델의 차선인식 성능을 Tusimple 데이터 셋으로 검증한다.
