This dissertation discusses the development of Bayesian optimization, which is one of black-box optimization methods, and the development of meta-learning and capsule networks, a deep learning technique that performs image classification. More detail, Bayesian optimization and meta-learning assume that only a few amount of data can be observed, and in this situation, inaccurate inference are induced by suffering from the lack of information. This dissertation focuses on addressing this difficulty caused by the lack of data. In the study of Bayesian optimization, we propose a model that incorporates the prior knowledge about the bound of an optimal value, and show the improvement in Bayesian optimization with the proposed model. In short, the difficulty caused by the lack of information is relaxed by adapting the prior information to the model. In the study of meta-learning, we develop the algorithm that performs out-of-distribution (OOD) detection and classification simultaneously. In fact, meta-learning has already proposed a way to overcome the difficulty caused by the lack of training data, but it has not provided a solution for learning about OOD. The study of meta-learning in this dissertation contributes to proposing a framework for learning OOD when only few shots of data are available. In the study of capsule networks, we focus on addressing the difficulty of training in capsule network. In this study, we first introduce pruning layer and ladder layer and finally propose ladder capsule network, which is an alternative of the previous capsule network. From the pruning and ladder layer, ladder capsule network can reduce the unnecessary computation in the previous capsule network and shows similar performances as the capsule network.
이 학위논문에서는 블랙박스 최적화 이론 중 하나인 베이지안 최적화와, 이미지 분류를 수행하는 딥러닝 기법인 메타러닝과 캡슐네트워크에 대한 개발을 다룬다. 좀더 자세히 말하자면, 베이지안 최적화와 메타러닝에서는 관측할 수 있는 데이터수가 적은 상황을 가정하게 되는데, 이러한 경우 정보부족이 발생하여, 정확한 모델 추론에 어려움을 겪게 된다. 이 학위논문에서는 이러한 어려움을 해결하는데 초점을 두었다. 베이지안 최적화 연구에서는, 최적값의 범위에 대한 사전지식을 반영하는 모델을 개발함으로써, 최적화 성능을 향상 시켰다. 즉, 사전 지식의 정보를 반영함으로써 정보부족의 어려움을 해결 하였다. 메타러닝 연구에서는, 적은 량의 학습데이터만이 있을 경우, 이에 대한 out-of-distribution (OOD) 감지와 클래스 분류를 동시에 수행 할 수 있는 메타러닝 알고리즘을 개발하였다. 사실, 기존 메타러닝은 이미 학습 데이터 부족에 따른 어려움을 극복하는 방법을 제공하였지만, 그것은 OOD에 대한 학습을 위한 해결책은 제공하지 못하였다. 이 학위논문에서의 메타러닝 연구는 OOD에 대한 학습을 위한 framework를 제안하였다는 것에 기여가 있다. 마지막으로 캡슐 네트워크에 대한 연구에서는, 캡슐 네트워크에서의 학습의 어려움을 해결하는 것에 집중하였다. 이 학위논문에서는, 프루닝 레이어와 레더 레이어를 소개함과 동시에 기존 캡슐네트워크의 대안인 래더캡슐네트워크를 제안하였다. 이 두 레이어로부터, 래덬캡슐너트워크는, 기존 캡슐네트워크에서의 불필요한 계산과정을 줄여줌과 동시에 비슷한 성능을 보였다.