A number of temporal difference learning algorithms finding the optimal policy have been proposed. Most of the algorithms update only the estimation at the time when the temporal difference error occurs. However, the estimation at the next time is also uncertain, thus the estimation at the next time need to be updated. In this thesis, we proposed a method to update the value function at the both time by introducing confidence function and estimating it. We made a simple example to compare and analyze the performance which the proposed method performed better than the existing one in finding the optimal policy. Furthermore, it was confirmed that the difficulty of setting the learning rate can be solved by using the ratio of the confidence function.
최선의 정책을 구하는 많은 시간차 학습 알고리즘들이 제안되어왔다. 대부분의 알고리즘들은 시간차 에러가 발생하면 해당 시점의 추정치만을 업데이트 하는 방식을 취했다. 그러나 다음 시점의 추정치도 불확실하기 때문에 다음 시점의 추정치도 함께 업데이트 할 필요가 있을 것이다. 본 학위 논문에서는 두 시점의 추정치를 동시에 업데이트 하되, 신뢰도 함수를 도입하여 그 것을 추정한 결과로 가치 함수를 업데이트하는 방식을 제안하였다. 간단한 예제를 만들어 성능을 기존 방식과 비교 및 분석을 해보았고, 그 결과 최선의 정책을 구하는데 더 좋은 성능을 가짐을 확인하였다. 또한 신뢰도 함수의 비율을 이용해 학습 비율을 설정하는 어려움을 해결할 수 있음을 확인하였다.
