A trajectory is a sequence of locations and timestamps of a pedestrian, and it has the properties of spatiotemporal dynamics. This indicates that every location has different characteristics depending on which trajectory it was on and which time it appeared. The trajectory also reflects personal characteristics such as age. In previous studies, however, the location was statically assigned with one embedding vector without considering these dynamic of locations. Therefore, this study proposes Geo-BERT, a dynamic geo-embedding model that reflects the spatio-temporal dynamics of locations using BERT architecture in the field of natural language processing. In the pre-training, masked location completion task was performed, which predicts randomly masked locations in the trajectory so that the model could learn the context of trajectories. In additions, instead of next sentence prediction task of BERT, our model learned the purpose of the trajectory by predicting the location type (e.g., business district) of the last location in the trajectory. The two tasks were performed together in the pre-training stage. After pretraining, various downstream tasks can be performed through fine-tuning process. This study sets two downstream tasks: (1) future visitor prediction, and (2) transportation mode classification. Our model showed competitive performance in this downstream task compared to other baseline models.
위치 기반 서비스는 위치 기술의 발전과 함께 널리 등장하면서 위치 기반 타겟 마케팅 등 다양한 응용이 큰 관심을 받고 있다. 실제로 현실 세계에서는 위치는 문맥적 환경에 따라 다양한 기능을 갖는다. 어떤 장소는 쇼핑 공간의 역할을 수행할 수도 있지만 어떤 누군가에게는 주거 단지의 역할을 수행하기도 한다. 그러나 기존의 위치와 관련한 사전 훈련 모델은 단어의 분산 표현을 기반으로 하기 때문에 인간 이동성에서 중요한 역할을 하는 문맥을 고려하지 못한다. 이 문제를 해결하기 위해 이 연구에서는 큰 규모의 현실 데이터로 다양한 문제를 해결할 수 있는 인간 이동성 문맥 표현 모델인 Geo-BERT를 제안한다. Geo-BERT는 문맥에 따라 문장의 의미를 이해하는 사전 훈련된 언어 모델에서 영감을 받았으며, 이 모델은 인간 이동성의 문맥적 표현을 학습하기 위해 두 가지 작업을 수행한다. 그리고 모델이 이동성에 대한 문맥적 표현을 학습하면, 이를 근간으로 하여 목적에 따라 다양한 세부 작업을 수행할 수 있다. 본 연구에서는 두 가지 실용적인 세부 작업을 설정했다: (1) 어떤 사람이 특정 장소를 방문할지 예측하는 작업과 (2) 특정 인간이 이동 경로 동안 어떤 교통 수단(택시, 버스, 자동차 등)을 이용했는지 예측하는 교통 수단 분류 작업이다. 우리의 모델은 다양한 세부 작업에서 다른 기준 모델과 비교해 경쟁력 있는 성능을 보였다.
