This thesis proposes acceleration techniques for Evolutionary Algorithms(EA), which are the hybrid algorithm and ES with Hessian Covariance(ES-HC). Hybrid algorithm combines evolutionary algorithms(EA) and the gradient search technique, for optimization with continuous parameters. Inheriting the advantages of the two approaches, the new method is fast and capable of global search. The main structure of the new method is similar to that of EA except that a special individual called gradient individual is introduced and EA individuals are located symmetrically. The gradient individual is propagated through generations by means of the quasi-Newton method. Gradient information required for the quasi-Newton method is calculated from the costs of EA individuals produced by the evolution strategies(ES). The symmetric placement of the individuals with respect to the best individual is for calculating the gradient vector by the central difference method. For the estimation of the inverse Hessian matrix, Symmetric Rank-One update shows better performance than the Broyden-Fletcher-Goldfarb-Shanno (BFGS) method and Davidon-Fletcher- Powell(DFP) . ES-HC also uses Hessian information. It generates individuals with covariance calculated from decomposition of inverse Hessian matrix without using the gradient individual. Numerical test on various benchmark problems and a practical control design example demonstrate that the proposed methods give faster convergence rate than EA, without sacrificing capability of global search.
본 논문에서는 진화연산의 가속화 기법으로 하이브리드 알고리듬과 헤시안 공분산을 이용한 진화전략기법인 ES-HC 기법을 제안한다. 하이브리드 알고리듬은 진화연산 기법과 구배 탐색 기법을 결합하여 연속변수를 파라미터로 가지는 최적화 문제의 해를 구하는 방법이다. 진화연산과 구배탐색기법의 장점을 이어받아 하이브리드 기법은 해를 찾는 속도에서 장점을 가지며 전역 탐색 기능도 가지게 된다. 새 기법의 기본 구조는 진화연산 기법과 같으나 구배 개체라는 특별한 개체를 새로이 도입하였으며 진화연산 개체를 대칭적으로 분포시킨다. 새로이 도입된 구배 개체는 세대를 거치면서 쿼자이 뉴튼 기법을 통해 진화를 한다. 쿼자이 뉴튼 기법을 위해 필요한 기울기 정보는 ES에 의해 생성된 진화연산 개체들의 코스트로부터 계산된다. 최적 개체를 기준으로 대칭적으로 분포시키는 이유는 기울기 계산에 있어 중앙차분법을 사용하기 때문이다. 역헤시안 행렬의 추정을 위해 SRO, BFGS, DFP 기법을 테스트 하였으며 이 중 가장 나은 성능을 보인 SRO 기법을 사용하여 역헤시안 행렬을 계산하였다. 또다른 기법인 ES-HC 기법도 하이브리드 알고리듬과 마찬가지로 헤시안 정보를 사용한다. 이 기법은 구배 개체를 사용하는 대신 역헤시안의 분해를 통해 얻은 공분산을 이용하여 개체의 분포를 결정한다. 여러가지 벤치마크 문제와 실제적인 제어기 설계 문제에 대한 적용을 통하여 제안한 기법들의 성능을 수치적으로 테스트 해보았으며, 그 결과를 통해 제안한 기법들이 기존의 진화연산 기법에 비해 빠른 수렴 속도를 가지며 전역 탐색 능력도 떨어지지 않음을 보였다.
