Deep neural networks have shown remarkable performance across a wide range of vision-based tasks, particularly due to the availability of large-scale datasets for training and better architectures. However, data seen in the real world are often affected by distortions that not accounted for by the training datasets.
In the first part of this dissertation, we address the challenge of robustness and stability of neural networks and propose a general training method that can be used to make the existing neural network architectures more robust and stable to input visual perturbations while using only available datasets for training. The proposed training method is convenient to use as it does not require data augmentation or changes in the network architecture. We provide theoretical proof as well as empirical evidence for the efficiency of the proposed training method.
In the second part of this dissertation, we study exploration in the context of reinforcement learn-ing. Deep reinforcement learning algorithms have been shown to learn complex skills using only high-dimensional observations and scalar reward. Effective and intelligent exploration still remains an unresolved problem for reinforcement learning. Most contemporary reinforcement learning relies on simple heuristic strategies such as $\epsilon-greedy$ exploration or adding Gaussian noise to actions. These heuristics, however,are unable to intelligently distinguish the well explored and the unexplored regions of the state space, which can lead to inefficient use of training time. We introduce entropy-based exploration (EBE) that enables an agent to explore efficiently the unexplored regions of the state space. EBE quantifies the agent's learning in a state using merely state dependent action values and adaptively explores the state space, i.e. more exploration for the unexplored region of the state space.
In the end, we consider the problem of autonomous robotic navigation. We use deep Q-learning to train agents using both entropy-based exploration and the famous -greedy exploration heuristic to solve the task. We perform experiments under various environmental conditions and test the effectiveness of both of these exploration methods.
심층신경망(DNN)은 광범위한 시각 기반 과업에서 상당한 성과를 보여주고 있는데, 이는 특히 훈련 및 더 나은 구조를 위한 대규모 데이터세트를 이용할 수 있기 때문이다. 그러나 실제 세계에서 볼 수 있는 데이터는 훈련용 데이터세트로 설명되지 않는 왜곡의 영향을 받을 때가 많다. 본 논문의 첫 장에서는 신경망의 강건성과 안정성의 문제를 다루고 기존 신경 구조를 더 강력하고 안정적으로 만들어서 이용 가능한 훈련용 데이터세트만 사용하여 시각적 변화를 입력하는 데 사용될 수 있는 일반적인 훈련 기법을 제안하고자 한다. 제안된 훈련 기법은 데이터 증강이나 망 구조의 변화를 필요로 하지 않기 때문에 편리하다. 제안된 훈련 기법의 효율성에 대해서는 이론적 증거와 실증적 증거를 제시할 것이다.
본 논문의 두 번째 장에서는 강화학습(RL) 맥락에서의 탐험을 살펴보고자 한다. 심층 강화학습 알고리즘은 고차원 관찰과 스칼라 보상만을 사용하여 복잡한 기술을 학습할 수 있는 것으로 나타났다. 강화학습에 있어 효과적이고 지능적인 탐험은 여전히 풀리지 않은 문제로 남아있다. 가장 최근의 강화학습은 입실론-그리디 탐험 또는 행위에 가우스 잡음을 더하는 방식 같은 단순 체험적 전략에 의존하고 있다. 그러나 이러한 발견법은 상태 공간의 탐험된 구역과 미탐험 구역을 지능적으로 구분하지 못하며, 이는 곧 훈련시간의 비효율적 사용으로 이어질 수 있다. 저자들은 에이전트가 상태 공간의 미탐험 구역을 효율적으로 탐험할 수 있도록 하는 엔트로피 기반 탐험(EBE)을 소개하고자 한다. EBE는 상태의존 행위값만을 이용하여 상태에 서의 에이전트의 학습을 정량화하며 상태 공간을 순응적으로 탐험하여 상태 공간의 미탐험 구역에 대한 더 많은 탐험을 가능케 한다.
마지막으로는 자주식 로봇 네비게이션 문제를 다루고자 한다. 저자들은 엔트로피 기반 탐험과 유명한 입실론-그리디 탐험 발견법을 사용하여 과업을 해결하기 위해 에이전트를 훈련시키기 위한 심층 Q학습을 활용한다. 또한 다양한 환경조건에서 실험을 수행하여 이들 탐험 기법의 효과를 테스트한다.
