In this dissertation, we dealt with the operation policy improvement and the system design of automated material handling systems (AMHSs) considering battery charging. With the recent increase in interest and demand for automation in the industry, factories and logistics centers which apply AMHS to their fields are constantly increasing. Vehicles of AMHS, such as automated guided vehicles (AGVs) and overhead hoist transports (OHTs), are devices which transport products or materials to other locations with minimal human intervention, and they use batteries mounted inside or inductive charging cables installed on tracks as the source of driving energy.
In the case of battery-powered vehicles, the production efficiency may be reduced depending on how the charging policy is operated. For example, suppose that vehicles go to the charging station for battery charging if their battery level becomes lower than a threshold. If the threshold is too low, vehicles may stop while moving. In contrast, if an operator set the threshold to a high value, inefficiency may also occur by charging because they spend charging time frequently even though they can carry out more jobs with their remaining energy. It is possible to use battery swapping system in order to reduce time consumption for battery charging, but this system has similar problem because the sacrifice of working time due to charging is inevitable. Accordingly, we proposed an approach for improving the battery charging operation policy that can reduce the average delivery time, which is one of the representative indicators of production efficiency. We mainly used Markov Decision Process (MDP) modeling method and dynamic programming (DP)algorithm for solving problems, and we confirmed that proposed approach can suggest flexible charging policies which are determined according to the situations of vehicles, but not fixed in batches. In addition, when dozens of vehicles exist, the complexity of the problem makes it difficult to use conventional algorithms, and the information available when making decisions about charging is limited. In order to overcome these problems, we used a reinforcement learning (RL) algorithm to improve battery charging policy in partially observable environment of decision makers. And also, we showed that proposed charging policy can improve production performance compared to existing policies which are mainly used in industry fields.
In addition, recently, systems which use batteries and wireless inductive cables together are also attracting attention. The biggest advantage of this system is that it is possible to fundamentally resolve the inefficiency of existing charging framework, as vehicles can be charged while moving. However, it is necessary to consider system design before full-scale commercialization. Particularly, when designing such a system, system designers need to decide where and how long to install the charging cable and to what extent the battery capacity should be set in consideration of economic factors. However, the charging and discharging of a battery is highly uncertain depending on the environment, and there are many factors to consider, such as spatial restriction of installation, stable battery level, etc., so it is not easy to determine during the design process. In this dissertation, We proposed a robust optimization approach to determine the allocation of inductive charging cables and the required battery capacity with the consideration of uncertainties about charging and discharging. Additionally, we suggested heuristic approach to handle real complex and large layouts which make the exact optimization algorithms difficult for application.
본 논문에서는 물류 자동화 장비의 배터리 충전을 고려한 시스템 운영 정책 개선과 시스템 디자인에 대해서 다루었다. 최근 산업에서 자동화에 대한 관심과 수요가 증가하면서 물류 자동화 장비를 도입하는 공장이나 물류 센터 등이 지속적으로 증가하고 있다. 물류 자동화 장비는 사람의 개입을 최소한으로 하여 제품, 자재 등을 다른 위치로 운반하는 장비로써, 이 장비들은 배터리 또는 이동하는 트랙에 설치되어 있는 충전 케이블 등을 주요 동력으로 이용한다.
배터리를 이용하는 장비의 경우, 실제 현장에서는 작업을 수행하는 도중 장비가 직접 충전소로 가서 충전을 하거나, 운영 시간이 끝난 유휴 시간에 충전을 시키기도 한다. 그러나 충전 정책을 어떠한 방식으로 운영하느냐에 따라서 생산이나 물류 이동 효율이 저하될 수 있다. 예를 들어 배터리 잔여 용량을 기준으로 했을 때, 너무 낮은 상태를 기준으로 하면 이동 중에 장비 멈춤이 발생할 수도 있고, 반대로 잔여 용량의 높은 상태를 기준으로 했을 때는 장비가 조금 더 작업을 수행할 수 있음에도 불구하고 충전을 함으로써 비효율이 발생할 수 있다. 배터리 충전을 통한 시간 소모를 줄이기 위해 배터리 교체 방식을 이용할 수 있지만 여전히 같은 문제를 가진다. 그러므로 본 논문에서는 마코프 결정 과정 기반의 모델링과 동적 계획법 기반의 알고리즘을 이용하여 생산 효율에 대한 대표적인 지표 중 하나인 평균 반송 시간을 줄일 수 있는 배터리 충전 운영 정책 개선 방법에 대해 제시하였다. 또한 운영 정책이 일괄적으로 결정되는 것이 아닌, 장비의 상황에 따라 융통성있게 결정됨을 확인하였다. 게다가 수십 대의 장비가 존재할 때는 문제의 복잡성으로 인해 기존의 전통적인 알고리즘을 이용하는데 어려움이 있고, 충전에 대한 결정을 내릴 때 이용할 수 있는 정보는 제한적이다. 따라서 본 논문에서는 강화학습 기반의 알고리즘을 통해 각 장비들이 상황에 맞게 충전을 할 수 있도록 충전 운영 정책 개선을 하고 현업에서 사용하는 운영 정책과 비교하여 더 나은 생산 효율을 달성할 수 있음을 보였다.
또한 최근에는 배터리와 무선 충전 케이블을 함께 이용하는 시스템도 주목을 받고 있다. 이 시스템의 가장 큰 장점은 장비가 움직이면서 충전을 할 수 있기 때문에 기존의 배터리 충전으로 인한 비효율을 근본적으로 해결할 수 있다는 것이다. 다만 해당 시스템에 대한 개발과 상용화가 아직 진행 중에 있기 때문에 우선 본격적인 상용화에 앞서 시스템 디자인에 대한 고민이 필요하다. 특히 이러한 시스템을 설계할 때, 경제적인 요소를 고려하여 충전 케이블을 어디에 얼마나 설치할 것인지, 배터리 용량을 어느 정도 설정해야할 것인지를 결정할 필요가 있다. 그러나 배터리의 충전과 방전은 환경에 따라 큰 불확실성을 가지고 있고, 설치의 공간적 제한이나 안정적인 배터리 수준 유지 등 고려해야 할 요소들이 많기 때문에 설계 과정 중 결정하기 쉽지 않다. 따라서 본 논문에서는 충전과 방전의 불확실성을 고려하여 충전 케이블의 배치와 배터리 용량을 결정하는 문제를 강건 최적화 문제로 모델링함으로써 이를 해결하는 방법에 대해 제시하였다. 또한 실제 공장의 규모가 크고 복잡하기 때문에 최적화 알고리즘을 사용이 어려울 수 있으므로, 이런 상황에서 사용할 수 있는 휴리스틱 접근법을 제안하였다.
