서지주요정보
신경 회로망의 일반화 성능 향상을 위한 가중치 최적화 기법 = Optimization of weights for good generalization performance of neural networks
서명 / 저자 신경 회로망의 일반화 성능 향상을 위한 가중치 최적화 기법 = Optimization of weights for good generalization performance of neural networks / 이의진.
저자명 이의진 ; Lee, Yee-jin
발행사항 [대전 : 한국과학기술원, 2008].
Online Access 원문보기 원문인쇄

소장정보

등록번호

8019222

소장위치/청구기호

학술문화관(문화관) 보존서고

MEE 08062

휴대폰 전송

도서상태

이용가능

대출가능

반납예정일

초록정보

Multilayer neural networks have been popularly used to solve a variety of difficult problems like pattern recognition, signal processing, and intelligent control. For the given training data, they are usually trained in a supervised way to minimize the errors between the network outputs and the target outputs, which is a kind of optimization. Mostly used training algorithms are based on gradient descent like error backpropagation algorithm, quasi-Newton algorithm, and Levenberg-Marquardt algorithm. These gradient descent algorithms have limitations in two aspects: one is their locality. They will find different local solutions depending on the different initial parameter states. The other is the difficulty of solving multi-objective or constraint optimization. Neural networks sometimes show overfitting phenomena although they are trained well for training data. Overfitting occurs mainly due to the over-complexity of the network. In this thesis, we are concerned with reducing the complexity of the network to prevent overfitting by finding smaller parameter values through simulated annealing. In order to speed up simulated annealing, a hybrid optimization algorithm of simulated annealing and gradient descent algorithm is suggested, and its convergence to a global solution is proved. In order to be more specific with the relation between the dynamic range of parameters and generalization performance of the network, neural networks are trained with two-objective optimization using the proposed hybrid optimization algorithm. Simulation results reveal that our algorithms are very effective in reducing overfitting phenomena of multilayer neural networks.

다층 퍼셉트론은 패턴 인식, 신호 처리, 적응 제어 등의 다양한 분야의 문제를 푸는데 사용되어 왔다. 다층 퍼셉트론의 학습은 대부분 지도 학습 방식으로 이루어지며, 주어진 학습 데이터에 대한 목표값과 실제 네트워크 출력의 차이를 최소화하는 방향으로 진행된다. 일반적으로 모든 학습 데이터에 대한 오차 합을 최소화하는 경사 강하 알고리즘이 자주 이용되며, 대표적인 알고리즘으로는 오차역전파 알고리즘, 준뉴턴 알고리즘, 레벤버그-마쿼트 알고리즘이 있다. 경사 강하 알고리즘은 초기 변수값에 따라 시작점에서 가장 가까운 최소점을 찾고, 다목적 함수 최적화에 이용하기 어렵다. 신경 회로망은 학습한 데이터에 대해서 좋은 성능을 보이더라도 학습되지 않은 데이터에 대해서는 과도 학습 현상이 발생할 수 있다. 과도 학습은 주로 네트워크의 복잡도가 주어진 문제의 복잡도보다 큰 경우 발생한다. 본 논문에서는 과도 학습을 방지하기 위해 모의 담금질에 기반하여 적절한 크기의 파라미터를 찾는 알고리즘을 제안한다. 제안된 알고리즘은 모의 담금질의 수렴 속도 향상을 위해 학습 속도가 빠른 경사 강하 알고리즘과 결합한 하이브리드 알고리즘으로 수렴성이 증명되었다. 파라미터의 동적 범위는 네트워크의 일반화 성능에 큰 영향을 주므로 제안된 하이브리드 알고리즘에서는 두 개의 목적 함수 최적화를 이용한다. 실험 결과 제안된 알고리즘이 과도 학습 방지에 효과적임을 확일 할 수 있었다.

서지기타정보

서지기타정보
청구기호 {MEE 08062
형태사항 vii, 55 p. : 삽도 ; 26 cm
언어 한국어
일반주기 저자명의 영문표기 : Yee-jin Lee
지도교수의 한글표기 : 박철훈
지도교수의 영문표기 : Cheol-Hoon Park
학위논문 학위논문(석사) - 한국과학기술원 : 전기및전자공학전공,
서지주기 참고문헌 : p. 51-53
주제 neural network;generalization performance;dynamic range of parameters;multiobjective optimizaation;hybrid algorithm
신경 회로망;일반화 성능;파라미터의 동적 범위;다목적 함수 최적화;하이브리드 알고리즘
QR CODE qr code