Deep learning have been widely utilized in computer vision, natural language processing, playing games, robotics, and other numerous fields. Molecular science is not an exception, prediction systems and generative models have paved a way of predicting molecular properties, generating novel compounds with desired properties, and planning chemical synthesis. For successful molecular applications, we consider a number of key learning principles that should be applied for neural molecular models.
Firstly, we propose improved graph convolutional networks (GCNs) with attention and gate mechanisms. Our augmented-GCNs outperforms the baseline GCN in predicting several molecular properties. They also show better representation learning results, providing post-hoc interpretations on how our model make decisions in given tasks. Secondly, we address reliability issue in using deep neural networks, which is usually considered as black-box models. For this purpose, we incorporate Bayesian inference for property prediction tasks. Bayesian inference with approximate variational posterior enables us to quantify predictive uncertainty and demonstrates that it greatly helps us tackle over-confident predictions. As a result, we can verify more effective virtual screening can be possible by demonstrating on bio-activity predictions. Furthermore, since predictive uncertainty is related to the mutual information between a model parameter and a predictive outcome, we extend our Bayesian GCN for active learning on HIV-inhibitors discovery. Our demonstrations have great potentials in experimental designs with communication between computational and experimental chemists, being expected to reduce a heavy cost problem in current drug discovery industry. Lastly, we improve previous molecular generative models with adversarially regularized autoencoders. Also, our model can effectively perform conditional molecular generation with variational information disentanglement. Our algorithm has advantages in de novo molecular design, as shown in the experiment generating EGFR-active compounds.
Beyond our previous works, we propose future directions, especially focus on generalization issues as key research topics that should be addressed in near future.
딥러닝은 컴퓨터 비전, 자연어 처리, 게임, 로봇 등 다양한 분야의 연구에서 활용되고 있다. 분자 과학 분야 역시 예외가 아니며, 예측 및 생성 모델 등이 분자 물성 예측, 원하는 물성을 가지는 분자 생성, 화학 반응 설계 등에 활용되고 있다. 성공적인 분자 과학에의 응용을 위해, 이 논문에서는 우리는 핵심적인 학습 원리를 고안한다.
첫 번째로, 게이트와 어텐션 메커니즘이 보강된 그래프 합성곱 신경망을 제안한다. 제안한 모델은 여러 분자 물성의 예측에서 더 나은 성능을 보인다.
또한, 더 나은 표현형 학습 결과를 보이며, 이는 모델이 주어진 과제를 어떻게 학습하였는지 사후적인 해석을 가능케끔 한다. 두 번째로, 베이지안 추론을 물성 예측에 도입하여 블랙박스로 여겨지는 딥러닝 모델의 신뢰도를 제고한다. 변분 추론으로 근사한 사후 확률 분포를 이용한 베이지안 추론은 예측의 불확실성을 정량화 하게끔 하며, 또한 과한 신뢰도를 가지는 예측 문제점을 해결하는데에 도움이 된다. 우리는 이 결과를 바탕으로 가상 스크리닝을 위한 예측 모델의 활용에 베이지안 추론이 크게 도움이 됨을 보인다. 또한 불확실성은 모델이 예측을 하기 위해 필요한 정보량과 연관이 되므로, 이를 바탕으로 액티브 러닝을 이용한 물성 예측 개발 방안을 제안한다. 마지막으로, 기존의 변분 추론 오토인코더과 적대적 생성 모델이 분자 생성에서 보이는 한계점을 극복하기 위해,
적대적으로 정규화된 오토인코더 모델을 제안한다. 위 모델에 결합된 우리가 제안한 물성과 구조 정보의 분리 알고리즘을 바탕으로, 원하는 물성을 가지는 분자만을 효과적으로 생성할 수 있음을 보이고, EGFR-저해제를 효과적으로 생성할 수 있음을 제안한다.
이 학위 논문의 맺음말로써, 현재 딥러닝 모델을 분자 과학 응용에 적용하는데 있어서 보이는 한계점을 요약하며, 어떻게 이 한계점을 극복할 수 있을지 향후 연구 방향성에 대해서 논한다.
