In this work, we are motivated by the hypothesis, that a linguistically informed inductive bias is beneficial to NLP models. Based on this hypothesis, we seek to improve a model with such an inductive bias: Recurrent neural network grammars (RNNG). Our primary contribution lies in Parallel RNNG, where we obtain 10 - 15 times speedups for large batch sizes. We also propose to improve RNNG with the use of attention. This makes it possible to interpret RNNG, but causes the predictive power to slightly deteriorate. Finally, we apply well-known regularisation methods from RNN to RNNG and show that they improve the predictive power of RNNG. All of our methods are evaluated against English and Chinese treebanks and compared to baselines without [strong] inductive biases.
이 연구는 언어에 기반한 귀납적 편향이 자연언어처리 모델에 도움을 준다는 가설에 기반한다. 이 가설을 통하여, 본 연구에서는 문법 순환 신경망 모델을 개선하는 것을 목표로 한다. 본 연구의 주요 기여는 병렬 문법 순환 신경망 모델로써, 배치 크기가 큰 경우 10배에서 15배의 시간 성능 향상을 보인다. 또한, 본 연구에서는 어텐션 기법을 이용한 문법 순환 신경망 모델의 성능 향상 방법도 제시한다. 이를 통해 문법 순환 신경망 모델의 해석 능력이 증가하지만, 조금의 예측능력의 하락이 수반된다. 마지막으로, 기존 순환 신경망 모델에서 사용된 여러 정규화 방법을 문법 순환 신경망 모델에 적용하여, 성능 향상을 보인다. 실험은 영어와 중국어 트리뱅크를 데이터로 하여 진행하고, 귀납적 편향이 없는 모델들과 비교하여 본 모델의 상대적 성능 우위를 보인다.
