Overhead Hoist Transport (OHT) vehicle is widely used in the automated material handling system (AMHS) of semiconductor wafer fabrication facilities (FAB). Hundreds of OHTs deliver wafer lots on complex tracks, efficient operation of the OHT is one of the key factors of the overall performance of the modern semiconductor FAB. Commonly used routing methods include static Dynamic Programming (DP) approach, periodically updated DP approach, and online DP approach. However, routing based on the existing optimization approach can not effectively respond unexpected events such as delay time due to the OHT loading / unloading or congestion in the track. In this paper, we propose a routing algorithm based on Q ($\lambda$) learning in order to operate the automated transport system efficiently, which avoids congestion and can be applied to actual field. It gathers real-time routing information and measures the expected transport time for each alternative route. The learning-based algorithm is used to determine the next position of the OHT while avoiding congestion in the track. We also verify the performance of the algorithm through simulation experiments. Compared with the practical routing approach, the proposed method showed better performance in terms of the median of average lots delivery time. This study is conducted with one of the biggest global AMHS providers in the semiconductor industries.
Overhead Hoist Transport (OHT) 차량은 반도체 공정의 자동 반송 시스템에서 널리 쓰인다. 수백 개의 OHT가 복잡한 트랙에서 웨이퍼 랏을 반송하기 때문에, OHT의 효율적인 운영은 반도체 제조 공정의 전반적인 성능을 결정 짓는 중요한 요소 중 하나이다. 널리 사용되는 경로 설정 방법으로는 정적 다이나믹 프로그래밍(DP) 접근법, 주기적으로 업데이트되는 DP 접근법, 그리고 온라인 DP 접근법이 있다. 그러나 기존의 최적화 접근법을 기반으로 한 경로 설정은 OHT의 상차/하차로 인한 지연 시간 또는 트랙의 혼잡 등 예기치 못한 상황에 효과적으로 대처하지 못한다. 본 논문에서는 자동반송시스템을 효율적으로 운영하기 위해 혼잡을 회피하고 실제현장에 적용 가능한 Q($\lambda$) 학습 기반의 경로 설정 알고리즘을 제안한다. 이는 실시간 경로 설정 정보를 수집하여 각 대안 경로의 예상되는 반송 시간을 측정한다. 다음 학습 기반 알고리즘을 사용하여 트랙의 혼잡을 방지하면서 OHT의 다음 위치를 결정한다. 또한 시뮬레이션 실험을 통해 알고리즘의 성능을 검증하였다. 기존의 경로 설정 방법과 비교할 때, 제안 된 접근법은 평균 랏 반송 시간 측면에서 보다 우수한 성능을 보여주었다.
