Deep learning has made great strides for problems that can be learned with direct supervision, in which a large dataset with high-quality annotation is provided (e.g., ImageNet). However, collecting such a large dataset is expensive and time-consuming. The goal of this work is to address this issue by utilizing computer simulation to train a machine learning model. First, we present our novel \emph{Simulated+Unsupervised (S+U) learning} algorithm, which fully leverages the flexibility of data simulators and bidirectional mappings between synthetic and real data. We show that our approach achieves the improved performance on the gaze estimation task, outperforming the prior approach by \cite{shrivastava2016learning}. Next, we introduce our work on building data-driven vehicle collision prediction algorithms. Today’s vehicle collision prediction algorithms are rule-based and have not benefited from the recent developments in deep learning. This is because it is almost impossible to collect a large amount of collision data from the real world. To address this challenge, we collect a large accident dataset using a popular video game named GTA and train end-to-end classification algorithms which identify dangerous objects from a given image. Furthermore, we devise a novel domain adaptation method with which we can further improve the performance of our algorithm in the real-world.
딥러닝은 학습할 수 있는 데이터가 충분하다면 다양한 문제에 대해 혁신적인 성능을 달성할 수 있다는 것이 최근에 밝혀졌다. 하지만 학습에 필요한 충분한 크기의 데이터를 모으는 작업은 매우 비싸고 많은 시간을 요한다. 본 연구의 목적은 이러한 문제를 해결하기 위해 컴퓨터 시뮬레이션을 이용하여 머신러닝 모델을 학습하는 것이다. 먼저, 우리는 데이터 시뮬레이터의 유연성과 실제 데이터와 시뮬레이터 데이터의 양방향 매핑을 최대한 활용한 \emph{Simulated+Unsupervised (S+U) 학습} 알고리즘을 제안한다. 이 방법은 기존에 방법~\cite{shrivastava2016learning}과 비교하여 시선 예측 문제에 개선된 성능을 달성한다. 다음으로 우리는 단순한 규칙들에만 의존하는 기존의 차량충돌예측시스템을 대체하기 위한 딥러닝기반 시스템을 개발하였다. 딥러닝 모델을 학습시키기 위해서는 많은 데이터가 필요한데 학습에 필요한 충분한 양의 사고 장면을 실제 세상에서 모으는 것은 쉽지 않다. 이를 해결하기 위해 우리는 비디오 게임을 조작하여 자동으로 다양한 사고 주행 장면을 합성하는 시뮬레이터를 최초로 개발하였다. 시뮬레이터로 합성된 주행 장면을 이용하여 학습된 모델을 실제 주행 장면에 적용하면 성능 저하가 관측되는데, 이를 해결하는 새로운 도메인 적응 기법 또한 제시하였다. 우리의 모델은 기존의 규칙 기반 시스템으로는 불가능했던 정교한 사고 예측을 주변 차량의 다양한 요소들(바퀴각도, 방향 그리고 속도)을 복합적으로 고려하여 성공적으로 수행한다.