We introduce scalable Evolutionary Reinforcement Learning (ERL) Algorithms that combine Evolutionary Algorithm (EA) with Reinforcement Learning (RL) for better sample efficiency. It is widely known that the EA algorithms are less sample efficient than RL algorithms, but they are more stable. Combining two algorithms leads to more sample-efficient performance and stability. In this thesis, we introduce new asynchronous actor and critic update rules for scaling ERL algorithms and apply them to real-world applications where the sample efficiency is more crucial than simulated environments. The selected real-world environment is a camera parameter control task that is difficult to build a simulator. It is shown that the proposed ERL algorithm can achieve higher performance with less samples than conventional RL algorithms in both simulated and real-world environments.
본 논문에서는 샘플 효율을 높이기 위해 진화 알고리즘(EA)과 강화 학습(RL)을 결합한 확장 가능한 진화적 강화 학습(ERL) 알고리즘을 소개한다. EA 알고리즘은 RL 알고리즘보다 샘플 효율성은 떨어지지만 안정성이 더 높다고 널리 알려져 있고, 두 알고리즘을 결합하면 샘플 효율성과 안정성이 더욱 향상된다. 이 논문에서는 ERL 알고리즘을 확장하기 위한 새로운 비동기 액터 및 비평가 업데이트 규칙을 소개하고 시뮬레이션 환경보다 샘플 효율이 더 중요한 실제 애플리케이션에 적용하였다. 실제 환경은 시뮬레이터를 구축하기 어려운 카메라 파라미터 제어 작업으로 선택하였으며, 제안한 ERL 알고리즘은 시뮬레이션 환경과 실제 환경 모두에서 기존 RL 알고리즘보다 적은 샘플로 더 높은 성능을 얻을 수 있음을 보여준다.
