In precision industries, the defect detection and classification based on machine vision approaches are the endless problems, which are directly related to the quality control and the productivity. In recent years, the mobile display industry has grown rapidly. As new types of display panel modules and production methods are being deployed, surface defects have become harder to inspect using conventional methods. In these cases, mostly the final inspection relies on the human visual inspection. Due to the ambiguous boundaries, uneven illumination on surfaces, and different light source effects of many vision systems, these defects cannot be handled simply by applying the traditional inspection algorithm. To be more generalizable and deployable, the inspection algorithm has to be able to manage diversities that come from different vision systems including various background patterns and local illumination differences in high resolution images. In this study, we present a novel framework to detect and classify surface defects on a display module that is applicable in practical terms.
First, to solve the faint and ambiguous shaped surface defects detection problem, we propose a novel threshold-free defect detection method which is robust against variations in local illumination, structured patterns and noises for both color and gray cameras. We built a Gaussian mixture model (GMM) for modeling defect denoted as foreground and non-defect regions denoted as background separately so that no tuning threshold is necessary for detection. We exploit additional saliency information in the GMM learning scheme to enhance the discriminative power. This model initializes automatically the background components with credible pixel points that are chosen by the saliency filter value. The probability for the foreground is guided by the saliency filter for each iteration and only pixels in the foreground components are allowed to move to the background components to maintain reliable the background components. Compared to traditional inspection methods which need various preset parameters for morphological image processing depending on the surface regions and light source configuration, the proposed method is a threshold free detection method. Second, to solve the problem of ambiguous surface defect classification, we introduce a novel filtering method called the neighboring difference filter (NDF) that effectively separates the foreground defective regions from the background, which has structured patterns, local illumination variation, and different light conditions for each of several cameras in an inspection system. The NDF is designed to strengthen the information given by dissimilar patches and avoid that of similar ones using the properties inherent in textured patterns that distinctive information is more likely to be found further away from an image patch which contains a pixel of interest. Applying the NDF to defect images, we propose an optimum feature composition that composed of geometrical, statistical, intensity, and texture features by adopting a wrapper based feature selection method using a random forest as a learning algorithm. Successful results of our proposed approach are demonstrated using a real world dataset provided by an industrial production plant that show the possibility of the fully automated detection and classification on an industrial line, for which the inspection is currently performed by cumbersome human visual inspection.
자동화 비전 검사는 자동차, 철강, 식품, 의료 및 정밀 부품 분야 등 다양한 산업분야에서 생산성 및 품질관리를 위해 널리 적용되고 있다. 고도의 정밀도를 요구하는 산업 분야에서는 검사 대상의 복잡도 증가로 끊임없이 새로운 형태의 자동화 비전검사를 알고리즘 개발이 요구된다. 특히 최근 모바일 디스플레이 분야의 지속적인 성장 속에서 디스플레이 핵심 부품의 다양화 및 정밀도가 고도로 증가하면서 기존의 비전 검사 알고리즘으로는 검출이 어려운 대상이 새롭게 나타나게 되었다. 이러한 경우 최종 검사는 고해상도 현미경을 이용하여 숙련된 작업자들이 최종 표면 결함 여부를 판단한다. 고집적도 디스플레이 부품의 비전 검사는 최소 검출 결함 크기 감소로 인해서 고해상도 카메라가 적용되고, 다양한 결함을 찾아내기 위해서 다수의 다양한 조명계를 필요로 하며, 다양한 표면의 패턴과 결함자체의 유사성 및 형상의 비정형성으로 인해 검사 알고리즘 설계에 고려되어야 할 복잡도는 매우 증가한다. 본 학위 논문에서는 기존에 제안된 접근 방식으로는 해결하기 어려운 불명확한 표면 결함의 명확한 검출 및 분류에 대한 자동화 검사 방법을 제안한다. 첫 번째로, 실제 양산라인에 적용 가능한 검출알고리즘을 제안한다. 국부적 조명 차이, 다양한 검사 표면의 패턴과 영상의 잡음이 존재하더라도 칼라와 그레이 카메라 종류에 관계없이 적용 가능하며 이진화 파라미터, 검사 영역의 선택이 필요하지 않은 강건하고 새로운 표면 결함 검출 방식을 제안한다. 상대적으로 주변과 현저하게 두드러진 차이를 보이는 새일런시 정보를 이용하여 가우시안 혼합 결함 검출 모델을 설계하고 이를 통해 결함의 형태 자체가 희미하고 배경의 패턴과 구분이 불명확하며 균일하지 않은 조명에서도 실제 생산라인의 데이터 셋에 적용하여 뛰어난 검출 결과를 보인다. 제안된 검출 프레임워크를 통하여 기존에 숙련된 작업자가 조명과 카메라 종류별, 영역별 조명차이에 따라 검사영역을 분류하고 분류된 검사영역별로 검사 파라미터를 개별적으로 셋업하는 민감성에 매우 취약하고 시간 소모적인 방식에서 검사영역과 검사 파라미터 자체가 필요 없는 새로운 방식으로의 변화를 제안한다. 두 번째로, 불명확한 결함의 종류 구분에 대한 알고리즘을 제안한다. 학습을 위한 입력 특징값을 선정하기 위해서는 다양한 외부의 영향이 제거되고 결함 자체의 정보만을 이용할 수 있는 방법이 고려되어야 한다. 기존의 연구에서는 상이한 카메라 와 조명 차이, 고해상도 카메라에서 더욱 심하게 부각되는 국부적 조명차이 패턴의 다양성 등의 외부환경에 무관하게 균일하게 선택적으로 결함의 특징영역만을 추출가능한 방식이 제안되지 않았다. 본 학위논문에서는 결함 영역과 표면의 패턴과 분리하는 새로운 영상처리 필터인 "주변차 선택적 강화 필터"를 설계하여 제안한다. 제안된 필터는 배경패턴의 왜곡 및 픽셀 값의 편차, 국부적 조명 편차, 카메라간 조명 차이 등에 관계없이 적용 가능하며 검사표면과 결함영역에 미치는 외부의 다양한 영향을 제거하고 오직 결함영역의 정보만을 선택적으로 추출하는 정규화된 영상형태로 입력영상을 변환한다. 이러한 정규화 된 결함 영상들을 이용하여 통계적, 픽셀 값, 형상, 텍스쳐 정보 등의 다양한 형태로 특징 성분을 정량화한 후 중복되지 않고 중요한 최소의 그리고 최적의 특징 값을 선정하고 이를 제안한다. 제안된 특징 값은 랜덤포레스트를 이용하여 학습할 경우 양산적용가능한 수준의 학습시간 및 분류시간을 보이며 실제 모바일 디스플레이 양산라인에서 제공받은 샘플 데이터셋을 이용하여 제안된 성공적인 검출 및 분류 결과를 보인다. 또한 제안된 필터를 특징값 추출 목적 이외에도 직접 검출 분야에 적용할 경우 기존 기술 대비 성능의 우수함 보이고 다른 표면 검사 대상으로의 확장 적용성을 설명한다. 추가적으로 영상자체를 입력으로 이용한 컨볼루션 뉴럴네트워크를 이용한 결함 분류 접근 방식에 대해서도 설명한다. 이 학위논문의 연구에서 보인 실제 양산라인에서 제공받은 다양한 비전 시스템에서 수집된 불명확한 형태의 여러 결함을 이용한 실험 결과를 통하여 제안된 방법이 불명확한 결함의 검출 및 분류에 매우 효과적이라는 사실을 알 수 있다.
