This thesis is considered with the robust design of multilayer feedforward neural networks trained by backpropagation algorithm (Backpropagation net, BPN) and its applications to process monitoring data analysis. BPN's have been successfully used for solving a wide variety of problems. However, determining a suitable set of structural and learning parameter values for a BPN still remains a difficult task. This research develops a systematic, experimental strategy which emphasizes simultaneous optimization of BPN parameters under various noise conditions. Unlike previous works, the present robust design problem is formulated as a Taguchi's dynamic parameter design problem, together with a fine-tuning of the BPN output when necessary. Four design variables (i.e., number of neurons in the first and second hidden layers, learning rate, and momentum) and three noise variables (i.e., initial set of random weights, ratio of the size of the training set to the size of the testing set, and selection of the trainin and testing sets) are considered simultaneously. A series of computational experiments are also conducted using the data sets from various sources. From the computational results, statistically significant effects of the BPN parameters on the robustness measure (i.e., signal-to-noise ratio) are identified, based upon which an economical experimental strategy is derived. In addition, the step-by-step procedures for implementing the proposed approach are illustrated with an example.
This research also deals with the problem of fine-tuning the BPN output. After training, the output of the BPN must be ideally equal to the corresponding value of the target variable. However, due to the restriction on the number of hidden neurons employed and a possibly premature termination of training by a certain accuracy-related criterion or the maximum number of iterations allowed, the output values of the BPN are in general different from the corresponding values of the target variable. Therefore, compensation for these differences is usually desired in addition to regular training. Two types of statistical calibration models are considered for fine-tuning. In the Type 1 model, the target variable is regressed on the BPN output while, in the Type 2 model, the role of the two variables is interchanged. Then, the relative performances of the two models and the original BPN output without fine-tuning are compared in terms of the absolute mean, standard deviation, and root mean square of prediction errors. Computational results from a series of experiments with various data sets and BPN architectures indicate that fine-tuning the BPN output using the Type I model when necessary generally improves the prediction accuracy and precision of a BPN.
Finally, a framework for analyzing process monitoring data is developed. This framework consists of data preparation, rule extraction and rule confirmation stages. The data mining techniques are applied to the rule extraction stage and the developed robust BPN is utilized for the confirmation of the extracted rules. The proposed framework is illustrated with the process monitoring data collected from a semiconductor manufacturing process.
본 논문에서는 역전파 학습법에 의해 훈련되는 다층 전방향 신경망 (Backpropagation net, BPN)의 강건 설계와 공정모니터링 데이터 분석에의 응용을 다루고 있다. BPN은 다양한 분야에 성공적으로 사용되어 왔으나, BPN의 구조 및 훈련에 관련된 파라미터의 적절한 값을 결정하는 것은 여전히 어려운 문제로 남아있다. 본 연구에서는 다양한 잡음 조건이 존재하는 상황 하에서 BPN의 여러 파라미터를 동시에 최적화하기 위한 체계적이고 실험적인 전략을 개발하였다. 이전의 연구들과 달리, 본 연구에서 수행되는 BPN의 강건 설계는 BPN 출력의 미세조정 (fine-tuning)과 더불어 다구치의 동특성 파라미터 설계 (dynamic parameter design)방법을 채택하였다. 네 개의 설계 변수 (즉, 첫번째와 두번째 은닉층의 뉴런수, 학습률, 모멘텀)과 세 개의 잡음 변수 (즉, 초기 연결강도, 훈련 셋의 크기와 테스팅 셋 크기의 비율, 훈련 셋과 테스팅 셋의 선택 방식)가 동시에 고려되었고, 다양한 분야에서 추출된 데이터를 이용하여 실험을 실시하였다. 이로부터, 강건성 측도 (즉, signal-to-noise ratio, SN비)에 통계적으로 유의한 영향을 미치는 BPN의 파라미터를 도출하였고, 이를 바탕으로 경제적인 실험 전략을 제시하였다. 마지막으로, 제안된 방법을 수행하기 위한 단계별 절차를 예제를 사용하여 설명하였다.
또한, 본 연구에서는 BPN 출력값의 미세조정이 SN비를 개선시키는데 효과적임을 보였다. 이상적으로는 훈련이 끝난 후의 BPN 출력값은 해당 하는 목표값과 일치하여야만 한다. 그러나, 제한된 수의 은닉뉴런을 사용할 수 밖에 없고, 훈련오차와 관련된 기준 또는 최대 훈련 횟수 기준에 의해 BPN의 훈련이 조기 종료되는 제약으로 인해 일반적으로 BPN의 출력값은 목표값과 차이를 보이게 된다. 그러므로, 정규적인 훈련 이외에 이러한 차이의 보상 단계가 필요한 것으로 판단된다. 본 연구에서는 BPN의 미세조정을 위해 두 종류의 통계적 교정 모델을 고려하였다. Type 1 모델은 목표값을 반응변수, BPN 출력값을 설명 변수로 설정하여 회귀식을 상정하였고, Type 2 모델은 두 변수의 역할을 바꾸어서 회귀식을 개발하였다. 그리고, 두 개의 모델과 미세조정을 하지 않은 BPN의 상대 성능을 절대평균, 표준편차, 예측오차의 제곱합의 관점에서 비교하였다. 다양한 데이터와 다양한 구조의 BPN 에 대해 실험을 실시한 결과, Type 1 모델을 이용한 BPN의 미세조정이 일반적으로 BPN의 정밀도를 높인다는 것을 확인할 수 있었다.
이와 같이 개발된 BPN은 반도체 공정의 모니터링 데이터 분석에 활용되었다. 반도체 공정은 수 백 개의 단계들로 이루어져 있고, 많은 양의 데이터를 생성해 내고 있다. 이러한 공정모니터링 데이터는 공정이나 제품에 대한 유용한 정보를 내포하고 있다. 반도체 조립공정이 끝난 후에, 웨이퍼 상의 칩은 EDS (Electrical Die Sorting) 공정 결과에 따라 여러 종류의 bin으로 분류된다. 이러한 반도체 공정의 엔지니어들은 최종 제품의 품질에 결정적인 역할을 하는 공정 변수를 찾기 위해 공정모니터링 데이터와 bin 데이터와의 관련성 규명에 관심을 기울이고 있다. 따라서, 본 연구에서는 데이터 마이닝과 BPN을 이용하는 공정모니터링 데이터 분석 절차를 개발하였다. 제시된 분석 절차는 데이터 사전준비 (Data preparation), 규칙추출 (Rule extraction), 규칙확인 (Rule confirmation) 단계로 구성되어 있다. 본 절차 하에서 데이터 마이닝 기법은 규칙 추출단계에서, 그리고 강건설계 방법에 의해 개발된 BPN은 추출된 규칙의 확인 과정 단계에서 유용하게 활용될 수 있음을 확인하였다.
