Cluster tools are widely used in most semiconductor manufacturing processes such as etching, deposition and metallization. Scheduling of cluster tool is a decision problem of the behavior, timing, and target modules in the tool, and it greatly effects on the productivity of the tool. To improve the performance of semiconductors, manufacturers has shrunk the wafer circuit width dramatically, which has led to a significant increase in the complexity of tool scheduling problem. Furthermore, considering variability such as variation in process time and disruptive events such as chamber failure increases the complexity of scheduling further more. Scheduling methods for specific tool structures and operational constraints have been studied, but no studies have been conducted considering complex operational constraints. Mathematical optimization methods such as mixed integer programming are unsolvable due to their computational complexity. In this work, we present a supervisory control-based reinforcement learning approach that enables near-optimal scheduling even in situations involving complex constraints on cluster tools. First, we propose an algorithm for logical control and performance optimization for cluster tools without variability and disruptive events. Second, we extend it to tools which includes variability and disruptive events. Then, interpretable rules are extracted and analyzed from optimized scheduling policy. Through this study, near-optimal scheduling is derived for complex problems that cannot be solved using the previous method, and interpretable rules are extracted. Numerical experiments demonstrate that proposed algorithm outperforms the state-of-the-art cyclic scheduling methods and achieves near-optimal performance even on problems where the scheduling method is unknown yet.
본 논문은 반도체 제조에 사용되는 대표적인 단일 웨이퍼 공정 장비인 클러스터 장비의 스케줄링에 대해 다룬다. 클러스터 장비는 대부분의 반도체의 공정에서 사용되며, 특히 식각, 박막, 금속 배선 공정에서 주로 사용된다. 클러스터 장비의 스케줄링은 장비 내 모듈들의 행동, 시점, 대상을 결정하는 문제로, 장비의 생산성에 지대한 영향을 끼친다. 최근 웨이퍼 선폭 회로의 급격한 감소로 인해, 웨이퍼의 엄격한 품질 관리를 위해 장비 내의 구조가 복잡해지고 운용 제약들이 복합적으로 발생하고 있으며, 이에 따라 장비 스케줄링의 복잡도가 크게 증가하고 있다. 또한 공정시간의 변동과 같은 변동성, 챔버의 고장과 같은 이상 사건을 고려할 경우 스케줄링은 더욱 복잡해진다. 현재까지 특정 장비 구조와 운용 제약에 대한 스케줄링 방법에 대한 선행연구들이 존재하나, 동시에 복합적인 제약을 고려한 연구는 아직 선행된 바 없다. 또한 기존의 정수계획법과 같은 수식적 최적화 방법은 복잡도로 인해 풀이가 불가능하다. 따라서 본 연구에서는,복잡한 구조와 제약을 고려한 상황에서도 최적에 가까운 스케줄링이 가능한 감시제어 기반 강화학습을 제시한다. 먼저 변동성을 고려하지 않는 안정적인 장비에 대한 논리적 제어 방법과 강화학습 기반 스케줄링을 제안한다. 또한 변동성과 이상사건을 고려하는 장비에 대하여 모델을 확장한다. 그 후, 최적화된 강화학습 기반 스케줄링으로 부터 해석가능한 규칙을 추출하고 분석한다. 본 연구를 통해 기존의 방법으로는 스케줄링이 불가능한 복잡한 문제에 대해서 최적에 가까운 스케줄링이 가능하며, 해석 가능한 형태의 규칙이 추출된다. 현업에서 실제로 사용중인 다양한 클러스터 장비 사례들에 대한 실험을 통해 제시된 방법의 성능을 입증한다.
