Earthwork is the leading work of most construction projects and one of the most important tasks in construction process management. For the construction process management, there are some different approaches such as optimizing construction with either mathematical methodologies or heuristics with simulations. This paper proposed a simulated earthwork scenario and an optimal path planning for the simulation using a reinforcement learning. For reinforcement learning, excavator agent its behavior policy using Q-learning and deep reinforcement learning. The simulation result shows that learning with Q-learning and deep reinforcement learning can reach the optimal planning for a training simulated earthwork scenario. In addition, an earthwork planning path was created by applying the trained excavator agent to simulated environment that was not used for training. Excavator agent trained from deep reinforcement learning can reach near optimal planning. This planning could be a basis for an automatic construction management.
토공사는 건설 공사 대부분의 선행되는 공종으로 건설 공정 관리에서 중요한 과제 중 하나이다. 수학적 방법론에 기반을 둔 최적화 기법, 휴리스틱에 기반을 둔 최적화 기법 그리고 행위자 기반의 시뮬레이션 등의 방법론이 건설 공정 관리를 위해 적용되어왔다. 본 연구에서는 가상의 토공사 시뮬레이션 환경을 개발하고, 가상의 토공사 시뮬레이션 환경에서 강화학습을 이용하여 시뮬레이션을 통해 토공사의 최적 작업 경로를 찾는 방법을 제안하였다. 강화학습에 있어 본 연구에서는 굴삭기 에이전트에 대해 Q-learning과 딥강화학습을 사용하여 행동 정책을 학습하였다. 학습이 이루어진 토공사 시뮬레이션 환경에서 Q-learning과 딥강화학습을 사용하여 학습한 경우 모두 최적의 작업 경로 계획을 생성할 수 있음을 확인하였다. 또한, 학습된 굴삭기 에이전트를 학습에 사용하지 않은 시뮬레이션 환경에 적용하여 토공사 작업 경로를 생성하였으며, 딥강화학습으로 학습된 에이전트의 경우 생선된 작업 경로가 최적에 가까움을 확인할 수 있었다. 이 계획은 건설 자동화의 기초가 될 수 있을 것이다.
