Identifying unexpected objects on roads in semantic segmentation (e.g., identifying dogs on roads) is crucial in safety-critical applications. Existing approaches use images of unexpected objects from external datasets or require additional training (e.g., retraining segmentation networks or training an extra network), which necessitate a non-trivial amount of labor intensity or lengthy inference time. One possible alternative is to use prediction scores of a pre-trained network such as the max logits (i.e., maximum values among classes before the final softmax layer) for detecting such objects. However, the distribution of max logits of each predicted class is significantly different from each other, which degrades the performance of identifying unexpected objects in urban-scene segmentation. To address this issue, we propose a simple yet effective approach that $\textbf{standardizes}$ the max logits in order to align the different distributions and reflect the relative meanings of max logits within each predicted class. Moreover, we consider the local regions from two different perspectives based on the intuition that neighboring pixels share similar semantic information. In contrast to previous approaches, our method does not utilize any external datasets or require additional training, which makes our method widely applicable to existing pre-trained segmentation models. Such a straightforward approach achieves a new state-of-the-art performance on the publicly available Fishyscapes Lost & Found leaderboard with a large margin.
도로 위 자율 주행 중에 학습 되지 않은 물체가 나타난 경우, 이 물체가 학습되지 않은 물체라는 것을 인식하는 것은 중요합니다. 의미 분할 모델을 도로 주행 사진에 가장 많이 등장하는 19개의 물체로만 학습했다고 가정할 때, 19개에 속하지 않은 새로운 물체가 등장하면, 기존의 모델들은 해당 물체 또한 기존에 학습한 19개 물체 중에 하나로 예측하게 됩니다. 예를 들어, 발생할 수 있는 문제는, 강아지가 도로 위에 나타난 경우, 차량은 이를 "보지 못했던 새로운 물체"로 인식해서 피해가야 하지만 해당 영역 또한 기존 19개 물체 중 하나인 "도로"로 예측하여 그대로 부딪힐 수 있습니다. 이러한 상황을 해결하기 위해 저희는 예측 점수 중 하나인 최대 로짓 (분류 레이어에 들어가기 전 값들을 "로짓"으로 정의함) 을 사용하여 해당 문제를 쉽고 효과적으로 해결할 수 있는 방법론을 제시합니다. 하지만 해당 최대 로짓 값은 의미 분할 처럼 각 물체가 학습 데이터에서 나타나는 빈도가 크게 다른 경우에 그 값의 분포가 서로 상이하게 나타나는 현상이 있고, 저희는 그 그것을 정규화를 통해 효과적으로 해결하는 방법론을 제시합니다. 이러한 방법론은 다양한 데이터셋에서 기존 방법론들 대비 높은 성능향상을 보였고, 특히 가장 많이 사용되는 공공 데이터 셋에서 가장 높은 성능을 보여주었습니다.
