Nowadays, most production lines are automated and optimized only per each unit process. Thus, it makes hard to know what happened in previous or next process as there are no connections between processes. Recently, as many companies introducing smart factories into existing manufacturing processes, manufacturing fields are changing drastically. The smart factory is a plant that has sensors installed in the machines, which collects and analyzes extracted data in real time. The smart factory enables the operator to observe all process at a glance, analyze them, and control according to the purpose. Once a smart factory is implemented, the processes are analyzed using a large amount of data, which enables to identify the defective factors, and obtain the correlation between processes. Surface Mount Technology (SMT) is one of fields being applied smart factories. SMT is a process of soldering and mounting chips onto a printed circuit board (PCB). SMT process is divided into printing solders onto PCB, mounting chips onto printed PCB, and melting the solders to attach the chips to solders. Kohyoung technology has solder paste inspection (SPI) equipment for inspecting solders on the printed PCB and automatic optical inspection (AOI) equipment for inspecting chips mounted onto the PCB. Both SPI and AOI equipment can reconstruct the soldering and mounting status of the PCB to a three-dimensional image. The inspection image enables to distinguish whether he PCB is defective or not. In order to increase the productivity in the SMT line, it is important to defect PCB defects at an early stage, which is possible to detect PCB’s soldering defects through SPI. In this paper, we use PCB images measured by SPI to diagnose the defect of the printer itself connected to SPI. If the printer has a defect, it is assumed that the PCB images measured by the SPI differs from the normal PCB images. In this paper, we propose a novel neural network structure, a convolutional recurrent reconstructive network (CRRN) for diagnosing printer defects. ConvREM is a kind of recurrent auto-encoder with attention mechanism. As a core network of CRRN, we propose Convolutional Spatio-Temporal Memory to capture the spatiotemporal patterns easily. The model is trained unsupervised manner using only normal images and the anomaly is detected by comparing normal and abnormal results. In addition, we classify the defect factors of the printer through classification model. We verified the performance of proposed model using moving MNIST dataset, SPI data, and welding images. The solder paste printer defects and welding defects were classified using the reconstruction error map obtained through the reconstruction model.
스마트 팩토리란 센서가 장비에 부착되어 데이터를 축적하고 분석함으로써 자동으로 움직이는 공장을 말한다. 그러나, 스마트 팩토리를 구성하는 여러 장비나 센서가 오동작하면 공장 뿐만 아니라 사람에게도 손실이 발생한다. 본 논문에서는 이러한 손실을 줄이기 위하여, 산업 현장에서 얻은 시계열 데이터와 시공간 데이터를 이용한 이상 징후 검출 네트워크를 제안한다. 실제 산업 현장은 고도화된 기술이 집약되어 있으며, 양품의 제품을 생산하기 위하여 설계되어 있다. 따라서, 산업 현장에서 얻을 수 있는 데이터는 대부분 정상 데이터라고 할 수 있으며, 간혹 예측할 수 없는 이유로 인하여 비정상 데이터가 발생한다. 본 논문에서는 정상 데이터만을 이용하여 모델을 학습한다. 그리고 비정상 데이터가 발생하면, 정상 데이터에 대한 모델의 출력과 비정상 데이터에 대한 모델의 출력을 비교하여 이상 징후를 탐지한다. Auto-encoder 계열의 모델을 이용하며, 복원 오차를 이상징후의 척도로 활용한다. 특히, 센서로부터 얻은 데이터는 시계열 데이터가 다수이며, 시계열 데이터의 이상징후를 검출하기 위한 Recurrent Reconstructive Network (RRN)을 제안하고 벤치마크 데이터셋을 이용하여 성능을 검증하였다. 이를 확장하여 시공간 데이터의 이상징후를 검출하기 위한 Convolutional RRN (CRRN)을 제안한다. CRRN을 검증하기 위하여 첫번째, SMT 공정 중 Solder Paste Inspection (SPI)에서 얻은 데이터를 이용하여 이상징후 검출을 하였고, 이상징후의 종류를 분류하였다. 두번째, 용접 이미지를 이용하여 용접 불량이 있는 영역 검출에 적용하였다. 두 실험을 통해, 제안하는 RRN과 CRRN이 정상 데이터가 많은 환경에서 이상 징후 검출이 탁월함을 증명하였다.
