서지주요정보
Bridging the gap between deterministic and probabilistic recurrent neural networks in a predictive coding framework = 예측코딩 기반 회귀신경망의 결정론적 모형과 확률론적 모형의 간극 해소
서명 / 저자 Bridging the gap between deterministic and probabilistic recurrent neural networks in a predictive coding framework = 예측코딩 기반 회귀신경망의 결정론적 모형과 확률론적 모형의 간극 해소 / Ahmadreza Ahmadi.
저자명 Ahmadi, Ahmadreza ; 아하마디 아하마드레자
발행사항 [대전 : 한국과학기술원, 2019].
Online Access 원문보기 원문인쇄

소장정보

등록번호

8033256

소장위치/청구기호

학술문화관(도서관)2층 패컬티라운지(학위논문)

DEE 19018

SMS전송 소장위치

도서상태

이용가능

대출가능

반납예정일

초록정보

This thesis takes two approaches into consideration to deal with fluctuations in sequential patterns: the deterministic and probabilistic approaches. A deterministic Recurrent Neural Network (RNN) is first proposed using the predictive-coding framework, and the proposed model is tested in both simulation and robotic experiments. It is shown that when fluctuating sequential patterns are provided to the proposed model during learning process, the transient states are formed in the internal dynamic of the model along with the limit-cycle attractor. The deterministic model can deal with fluctuations in unknown test patterns by using the transient states during the error regression, which is a method based on the predictive-coding framework. However, the model's capability is limited when number of training patterns increases. The limitation is addressed by proposing a stochastic RNN based on the predictive-coding framework and recent advancements in variational Bayes. It is shown that the stochastic model can deal with fluctuating patterns in both simulation and robotic experiments by balancing between prediction errors and divergence between its prior and posterior models. We also consider the linking between deterministic and stochastic RNNs by shifting a network parameter, referred as a meta prior, during learning process of the stochastic model. It is observed that the network becomes more deterministic resulting in exact learning by a larger value of the meta prior, whereas it becomes more random resulting in losing details by a smaller meta prior. The generalization is maximized by an intermediate meta prior. We compare the performance of the deterministic and stochastic RNNs for dealing with fluctuating patterns in a robotic experiment where we increase number of training patterns compared with the first robotic experiment of the deterministic model. It is shown that the stochastic model outperforms the deterministic one significantly by using time-varying variance. So, we can overcome limitation of the deterministic model by introducing uncertainty in its hidden layers.

본 학위논문에서는 순차적 패턴의 변동을 다루기 위해 결정론적 접근법과 확률론적 접근법을 고려하였다. 먼저 결정론적 회귀신경망이 예측 부호화를 기반으로 제안되었으며 , 제안 모델은 시뮬레이션과 로봇 실험을 통해 테스트하였다.학습 과정 중 제안 모델에 변동하는 순차적 패턴이 제공될 때, 과도 상태가 한계순환 끌개과 함께 모델의 내부 동역학에 형성된다. 결정론적 모델은 예측 부호화를 기반으로 한 방법인 오류 회귀 중에 과도 상태를 이용함으로써 알려지지 않은 테스트 패턴들에 내재되어 있는 변동을 처리할 수 있다. 그러나 학습 패턴의 갯수가 증가함에 따라 모델의 성능이 제한된다. 이러한 한계점은 예측 부호화 및 변분 베이지안의 최근 발전을 기반으로 한 확률론적인 회귀신경망을 제안함으로써 다루어진다. 확률론적 모델은 시뮬레이션과 로봇 실험에서 예측 오차와 사전 모델과 사후 모델 사이의 발산 사이의 균형을 잡음으로써 변동하는 패턴을 다룰 수 있음을 보였다. 또한, 확률론적 모델 학습 과정에서 메타 사전이라고 불리는 네트워크 매개변수를 조정함으로써 결정론적과 확률론적 회귀신경망 사이의 연결점을 고려한다. 메타 사전 값을 증가시킴에 따라 네트워크는 정확한 학습을 통해 더욱 결정론적 결과에 가까워지고 반면에 메타 사전 값을 감소시킴에 따라 세부 정보를 잃어버리면서 더욱 무작위적인 결과에 가까워진다. 일반화 성능은 중간 메타 사전 값을 할당하였을 때 최대화된다. 우리는 결정론적 회귀신경망과 확률론적 회귀신경망의 변동하는 패턴을 다루는 성능을 결정론적 모델의 첫 번째 로봇 실험과 비교하여 훈련 패턴 갯수를 증가시킨 로봇 시험을 통해 비교하였다. 시변 분산을 사용하여 확률론적 모델의 성능이 결정론적 모델보다 뛰어난 것으로 나타났다. 때문에 우리는 결정론적 모델의 한계점을 모델의 은닉층에 불확실성을 도입함으로 극복하였다.

서지기타정보

서지기타정보
청구기호 {DEE 19018
형태사항 v, 85 p. : 삽도 ; 30 cm
언어 영어
일반주기 저자명의 한글표기 : 아하마디 아하마드레자
지도교수의 영문표기 : Hoi-Jun Yoo
지도교수의 한글표기 : 유회준
수록잡지명 : "How can a recurrent neurodynamic predictive coding model cope with fluctuation in temporal patterns? Robotic experiments on imitative interaction". Neural Networks, v. 92, pp. 3-16(2017)
Appendix : A, Posterior computation. - B, KL divergence. - C, Lyapunov exponent computation. - D, List of publications
학위논문 학위논문(박사) - 한국과학기술원 : 전기및전자공학부,
서지주기 References : p. 78-82
주제 predictive coding
recurrent neural networks
variational Bayes
generative model
error regression
예측 부호화
회귀신경망
변분 베이지안
생성 모델
오류 회귀
QR CODE qr code