Research on emergence of communication has introduced a language learning paradigm based on goal-driven interaction between neural network agents. While generalization to unseen examples is a particularly desirable property for the communication protocols that the agents develop for solving tasks, it can be better achieved when agents have a grounded understanding of the quantitative information of the referred concepts. In this work, I focus on the generalization capabilities of communication protocols, particularly about numeral systems, which provide specific modes of generalizations: interpolation and extrapolation. I propose and formulate the problem of learning numeral systems in a multi-agent communication setting. I propose and evaluate a neural network model utilizing modulus operations, and analyze how it performs in terms of extrapolation, in comparison to a baseline LSTM based model. I find that although the proposed model achieves minor improvements in extrapolation, it suffers on the expressibility of numerical values.
소통의 생성에 대한 연구는 뉴럴 네트워크 에이전트간의 목적 지향형 상호작용을 통한 언어의 학습이라는 새로운 언어 습득의 패러다임을 제시했다. 에이전트들이 문제해결을 위해 생성하는 소통 규칙들은 표현 대상들에 대한 정량적 이해가 뒷받침 되었을 때, 트레이닝 데이터로 보지 못한 데이터에 대해서도 언어규칙을 일반화하여 적용할 수 있게 된다. 이 논문에서는 소통 규칙들의 일반화 가능성에 대해서 다루며, 특히 인간의 진법 시스템에 대해서 다룬다. 진법 시스템은 두 가지 일반화 유형이 이루어져야 하는데, 외삽법과 보간법이다. 이 논문에서는 다중 에이전트 간 소통 환경에서 진법 시스템을 학습하는 문제를 처음으로 제시하고 문제를 구체화한다. 또한 나머지 연산을 접목시킨 뉴럴 네트워크 모델을 제시하며, 이 모델이 소통에 있어서 외삽법을 얼마나 잘 적용하는지 살펴보고, 기준이 되는 LSTM 모델과 비교한다. 이 연구에서는 제시한 모델이 외삽법에서의 성능은 약간 좋아지지만, 숫자를 표현하는 능력이 떨어진다는 것을 관찰했다.
