Chemical structural information, such as Morgan fingerprints, has also been increasingly subjected to the Artificial neural networks (ANNs) modeling for various chemical studies. Despite the increasing volumes of relevant studies, insights into the optimal architecture and prediction performance of ANNs have not been sufficiently examined. Relevant questions include whether multilayer perceptrons (MLPs) always outperform single-layer perceptrons (SLPs) and shallow neural networks (SNNs) for classification problems of chemical structures, and specifically what deep features are made for prediction. In this study, we compared the performance of SLPs and SNNs to MLPs by using Morgan fingerprints as an input and interpreted MLPs using model similarity and deep feature homogeneity. We found that MLPs only performed better if the chemical dataset involves multiple chemical systems, otherwise MLPs did not learn diverse deep features and showed similar or worse performance than SNNs and SLPs. We also showed that Morgan Fingerprints with SNNs with sigmoid activation function outperformed DeepDDI, a recently developed DNN for drug-drug interaction prediction using 8 hidden-layers. This study suggested that hidden layers in ANNs might reveal the chemical system of the given datasets, which might help scientists to have a better sense of designing the hyperparameters of artificial neural networks. With this information, future DNNs could be customized to improve the predictive performance of chemical datasets.
Morgan Fingerprint로 대표되는 화학 구조 정보는 다양한 화학 연구를 위해 인공 신경망 (ANN) 모델링에 점점 더 많이 적용되고 있다. 이러한 중요성에도 불구하고 화학 구조를 입력받는 ANN의 최적 구조 및 예측 성능에 대해서는 깊이 연구된 바 없다. 예를 들어, 화학 구조를 기반으로 한 분류 문제에서 MLP (Multilayer Perceptron)가 SLP (Single Layer Perceptron) 및 SNN (Shallow Neural Network)보다 항상 우수한지, 또는 예측을 위한 deep feature가 무엇인지 등이다. 이 연구에서는 Morgan fingerprint를 입력으로 사용하여, SLP 및 SNN의 성능을 MLP와 비교하고 모델 유사성과 deep feature homogeneity를 사용하여 MLP가 화학 구조 정보를 학습하는 방식을 해석했다. MLP는 예측하고자 하는 화합물의 성질이 화학적으로 복잡한 작용 기전을 가지는 경우에만 더 나은 예측 성능을 보였으며, 그렇지 않은 경우 MLP가 여러 deep feature를 학습하지 않아 SNN 및 SLP 이하의 예측 성능만을 보여주었다. 뿐만 아니라, 약물-약물 상호작용의 예측 성능에 있어 활성화 함수로 Sigmoid를 사용한 SNN이 8개의 hidden layer를 사용한 DNN 기반 최신 기술인 DeepDDI를 능가하는 것으로 나타났다. 본 연구는 ANN의 hidden layer가 주어진 데이터에서 화합물의 작용 환경을 밝혀낼 수 있음을 시사하며, 이는 곧 이 정보를 바탕으로 화학 구조를 입력받는 인공 신경망의 하이퍼 파라미터를 더 잘 설정 할 수 있음을 의미한다.