The support of a tugboat is essential for large vessels with limited maneuverability at low speeds in precise operations such as berthing. The berthing operation using a tugboat is a highly difficulty operation in which the tugboat captain manipulates the tugboat according to the instructions of the pilot, and requires many highly trained personnel such as pilots and towing personnel. Recently, the application of automation and autonomy technology has been attempted to these difficult problems. Thus, automation of tugboats is a challenging research topic.
To automate the tugboat, the tugboat for the tugboat operation must be accurately modelled. In this research, the tugboat dynamic was defined as a hybrid system in which continuous time space and non-continuous time space interact in order to represent the operation time and control problems of the tugboat simultaneously. Since these complex hybrid system problems are difficult to solve with typical algorithms, reinforcement learning was applied. The reinforcement learning algorithm used for this problem was a proximal policy optimization algorithm, one of the probability policy gradient algorithms, and it has been widely used in recent reinforcement learning research.
In this research, the problem was solved by simulating an actual port environment. Three scenarios were conducted to demonstrate the general possibility of solving the autonomous berthing problem using reinforcement learning: the berthing problem with the interaction between the towing and berthing modes of the tugboat, the problem of the ship’s starboard-berthing with the interaction between the self-propelled and the berthing modes, and finally, the ship’s port-berthing problem with the interaction between the self-propelled and the berthing modes. Through applying reinforcement learning to various berthing problems, this research demonstrated the performance and usefulness of the proposed algorithm through simulation.
저속 기동성이 제한되는 대형 상선의 경우 접안과 같은 정밀한 작업이 필요할 때는 예인선의 지원이 필수적이다. 예인선에 의한 선박 접안 작업은 도선사의 지시에 따라 예인선 선장이 예인선을 조작하는 고난이도 작업으로서 도선사 및 예인 운용 인원 등 고도로 훈련된 인력이 다수 필요한 작업이다. 최근에는 이러한 어려운 문제들에 자동화 및 자율화 기술의 적용이 시도되고 있다. 그만큼 예인선의 자동화는 도전적인 연구주제이다.
예인선의 자동화를 위해서는 먼저 예인선 운항에 대한 터그보트의 정확한 모델링이 필요하다. 본 연구에서는 예인선의 운용 시점과 제어문제를 동시에 운동 모델로 나타내기 위해서 예인선의 운동모델을 연속 시간 공간과 비연속 시간 공간이 상호작용하는 하이브리드 시스템으로 정의하였다. 이러한 복잡한 하이브리드 시스템문제는 기존 알고리즘으로는 해결하기 어려운 문제가 있기 때문에 강화학습을 적용하여 해결을 시도하였다. 문제해결에 사용된 강화학습 알고리즘은 근위 정책 최적화 알고리즘으로 확률 정책 기울기 알고리즘 중 하나로 최근 강화학습 연구에서 널리 사용되는 알고리즘이다.
본 연구에서는 실제 항구 환경을 모사하여 문제 해결을 시도하였다. 강화학습에 의한 자율 접안문제의 일반적인 해결 가능성을 보여주기 위해서 총 3가지 시나리오를 진행하였다. 첫 번째는 본 연구에서 정의한 예인선의 예인모드와 접안모드의 상호작용에 의한 접안문제, 두번째는 선박의 자력 추진모드와 접안모드의 상호작용에 의한 선박 우현 접안문제 마지막으로 자력 추진모드와 접안모드가 상호작용하되 선박이 좌현 접안을 하는 문제이다. 이렇게 다양한 접안문제에 강화학습을 적용하고 그 결과를 시뮬레이션으로 보여줌으로서 제안하는 알고리즘의 성능과 유용성을 보인다.
