Q-learning is a kind of reinforcement learning where the agent solves the given task based on rewards received from the environment. The most of researches done in the field of reinforcement learning has focused on the discrete domains. But the environment with which the agent should interact is continuous. Thus a method that is able to make Q-learning applicable to the continuous problem domain is needed. In this thesis, basic fuzzy rule is extended so that it can incorporate the Q-learning. And the interpolation technique which is widely used in memory-based learning is adopted to represent the appropriate Q value for current state and action pair. The resulting structure based on fuzzy inference system has the capability of solving the continuous state and action problem in Q-learning by virtue of fuzzy inference system. In addition, the resulting Self-Organizing Fuzzy Inference System by Q-learning(SOFIS-Q) can generate fuzzy rules via interacting with the environment without a priori knowledge about the environment. The effectiveness of proposed structure is shown thorough simulation on cart-pole system.
Q-학습은 대상 시스템에 대한 선지식이 없을 경우에 시스템에서 얻어지는 보상을 통해 개체가 주어진 문제를 해결해 나가게 되는 강화학습의 한 분야이다. 실제로 Q-학습을 하는 개체는 연속적인 환경과 상호작용을 해야하는데 Q-학습은 기본적으로 이산 상태와 이산 행위에 기반하고 있기 때문에 연속적인 상태를 다루기 힘들다는 단점이 있다. 본 논문에서는 퍼지 추론 시스템의 기본적인 퍼지 규칙을 Q-학습에 적절하도록 확장 규칙으로 변경하였으며 기억 기반 학습에서 주로 사용되는 보간 함수를 이용해 정해진 데이터만을 가지고 연속적인 Q값을 표현할 수 있도록 함으로써 Q-학습에서 가장 문제가 되는 연속상태와 연속 행위 문제를 해결하였다. 또한 이렇게 제안된 Q-학습에 기반한 자기 형성 퍼지 추론 시스템은 아무런 지식이 없는 상태에서 반복 경험을 통해 퍼지 규칙을 생성할 수 있음을 보였다.
