The nonlinear optimization methods search the optimal parameter vector of a nonlinear cost function subject to equality and/or inequality constraints. Due to the nature of the complexity of the problem especially when there exist nonlinear constraints, evolutionary algorithms such as CEALM (Co-Evolutionary Augmented Lagrangian Method) are introduced. CEALM shows excellent performance on constrained nonlinear optimization problems in the following aspects: global optimization capability, low sensitivity to the initial parameter guessing, and excellent constraint handling capability due to the benefit of the augmented Lagrangian function.
Despite those advantages, the major difficulty in applying to actual problems is the computation time because CEALM evaluates the fitness values of a large number of individuals. The convergence speed is greatly degraded especially when the fitness evaluation is time-consuming.
This paper addresses the problem by implementing a multi-layer neural network (MLNN) that approximates the fitness function. This idea comes from the universal approximation capability of multi-layer neural networks. The MLNN is trained in an on-line manner and thus can be imbedded into the evolution process of CEALM, where "on-line" means that the network is trained as the evolution proceeds and its outputs are used for the evolution process. The convergence speed is accelerated as the MLNN is trained to approximate the fitness function according to an adaptive scheme for increasing the number of network fitness calculation. With the adaptive scheme, the convergence of the proposed algorithm to CEALM is briefly discussed. The proposed algorithm is verified by a numerical example and compared with CEALM.
비선형 최적화 문제에 대한 해법은 등식이나 부등식 등의 구속조건을 가진 비선형 비용함수의 최적의 파라미터 벡터를 찾는 것이다. 비선형 구속조건과 같은 문제의 복잡성으로 인해 증대된 라그랑지안을 이용한 공진화 알고리듬 등의 진화연산 등이 소개되고 있다. 증대된 라그랑지안을 이용한 공진화 알고리듬은 국지적 최적해를 피하여 전역적인 최적해를 구할 수 있는 능력과 임의의 초기치 설정에도 민감하지 않아 해를 성공적으로 찾을 수 있으며, 증대된 라그랑지안 함수를 이용함으로써 구속조건이 있는 최적화 문제도 구할 수 있는 탁월한 능력의 기법이다. 이러한 장점에도 불구하고 진화연산은 실제 문제에 적용할 때 생기는 단점이 있는 데 장시간의 연산시간에 대한 부담이다. 증대된 라그랑지안을 이용한 공진화 알고리듬 기법은 진화 알고리듬 과정 중 많은 개체에 대해 적합성 평가를 하게 되므로 장시간이 소요되게 된다. 본 논문은 증대된 라그랑지안을 이용한 공진화 알고리듬 기법의 장점은 최대한 살리고 그 단점인 장시간이 소요되는 문제를 해결하기 위해 증대된 라그랑지안을 이용한 공진화 알고리듬 기법 내의 적합성 평가 계산 루틴을 다층 신경회로망으로 근사시켜 대체 수행하였다. 이러한 고안은 신경회로망의 보편적인 근사화 능력으로부터 동기를 얻었고 신경회로망은 진화가 진행됨과 더불어 학습되는 온라인 방식을 채택하였다. 학습된 신경회로망은 본 논문에서 제안한 적응법칙에 따라 그 비율을 조절하여 적용하였다. 결론적으로 시간소요가 많은 진화연산에 신경회로망을 적용함으로써 연산시간을 획기적으로 줄이는 방법을 제안하였고 많은 벤치마크 문제와 수치적인 최적화문제를 해결함으로써 제안된 알고리듬의 검증 및 실용성을 확인하였다.
