Recent advances in deep learning have enabled monitoring systems to perform complex monitoring tasks
such as defect detection and change detection, which play a significant role in maintaining productivity
and security. However, these learning-based detection methods are particularly vulnerable to domain
shift, that is, the distribution mismatch between training and deployment. To tackle this problem,
we propose 1) a defect detection network robust to its input density and size variations by employing
domain knowledge-inspired feature extraction, and 2) a change detection network robust to non-targeted
environmental variations by utilizing the end-to-end structure.
For the defect detection, we aim to detect defects of a solder paste printer of surface mount technology
(SMT) using defective solder paste pattern (DSPP) images. Since the DSPP images are sparse, have
various sizes, and are hardly collected, existing CNN-based classifiers tend to fail to generalize and over-
fitted to the train set. Besides, existing studies employing only multi-label classifiers are less helpful
since when two or more defects are observed in the DSPP image, the location of each defect can not
be specified. To solve these problems, we propose a dual-level defect detection PointNet (D3PointNet),
which extracts point cloud features from DSPP images and then performs segmentation and multi-label
classification simultaneously. Experimental results show that the proposed D3PointNet is robust to the
sparsity and size changes of the DSPP image, and its exact match score was 10.2% higher than that of
the existing CNN-based state-of-the-art multi-label classification model in the DSPP image dataset.
For the change detection, we aim to detect change regions given two scenes robustly under the do-
main shift scenario, that is, when non-targeted environmental variation occurs between the two scenes.
To tackle the problem, we propose SimFaC, a novel end-to-end scene change detection network by Simul-
taneously conducting correspondence and mis-correspondence estimation. To verify the robustness of the
proposed SimFaC, we also propose highly challenging scene change detection dataset, ChangeSim, where
environmental non-targeted variations such as air turbidity and light condition changes are included.
Experimental results show that SimFaC outperforms state-of-the-art methods by a large margin (29%p),
especially under extreme domain shift scenario. Furthermore, SimFaC also achieves new state-of-the-art
scores on TSUNAMI, GSV, and VL-CMU-CD datasets, where the improvements are 0.8%p, 1.8%p, and
4.1%p, respectively. Moreover, the proposed SimFaC can be directly applied to visual place recognition
without additional modules. When place recognition and change detection are performed simultaneously
using the proposed SimFaC, the execution speed increases about 3 times compared to the baseline in
which each is performed, while the accuracy is maintained.
최근 딥러닝의 발전으로 모니터링 시스템은 결함 감지 및 변경 감지 등 생산성과 보안 유지에 중요한 역할을
하는복잡한 모니터링 작업을 수행할 수 있게 되었다. 그러나이러한 학습 기반 탐지 방법은 특히도메인
이동(Domain shift), 즉 훈련과 배포 간의 데이터 분포 불일치에 취약하다. 이 문제를 해결하기 위해, 도
메인 지식에서 영감을 얻은 특징 추출을 사용하여 입력 밀도 및 크기 변화에 강력한 결함 감지 네트워크,
그리고End-to-end구조를활용하여환경변화에및카메라뷰포인트의변화에강인한변화감지네트워크를
제안한다.
우선 결함 감지 네트워크의 경우, DSPP(Defect Solder Paste Pattern) 이미지를 사용하여 솔더 프린
터의 결함을 감지는것을 목표로 한다. 그러나DSPP 이미지는희소하고 다양한 크기를 가지며 다양한
데이터를 수집하기 힘들기 때문에 기존 CNN 기반 분류기는일반화에 실패하고 훈련 데이터 세트에 과적
합되는경향이 있다. 또한, 다중 레이블분류기만 사용하는기존 연구는DSPP 이미지에서 2개 이상의
결함이관찰되는경우각결함의위치를지정할수없다는한계가있다. 이러한문제를해결하기위해DSPP
이미지에서 포인트클라우드 특징을 추출한 다음 마이크로 수준과 매크로 수준의 두 가지 의미 수준에서
결함 탐지를 수행하는이중 수준 결함 탐지 PointNet(D3PointNet)을 제안한다. 포인트클라우드 특징 추출
에서는도메인 지식을 활용해 입력 데이터의 희소 정도와 크기 변화에 강인한 특징을 추출한다. 마이크로
수준에서는세그멘테이션을 통해 포인트별 프린터 불량유형을 식별한다. 매크로 수준에서 DSPP 이미지에
나타나는모든 유형의 프린터 결함은 다중 레이블분류로 식별된다. 실험 결과 제안한 D3PointNet은 DSPP
이미지의 희소성 및 크기 변화에 강인하며, Exact Match Score 기준으로 기존 CNN 기반의 다중 레이블
분류 모델보다10.2% 높은 것으로 나타났다.
다음으로, 변화 감지의 경우 우리는도메인 이동 시나리오, 즉 두 장면 사이 환경 변화가 존재할때 강
건하게 물체 변화를 감지하는것을 목표로 한다. 이 문제를 해결하기 위해 우리는이미지 와핑 및 변화
감지를 동시에 수행하는새로운 장면 변화 감지 네트워크인 SimFaC을 제안한다. 쿼리 이미지가 주어지면
SimFaC은다음픽셀마다의대응(Dense Correspondence) 및오대응(Mis-correspondence)을모두추정하여
변화를 감지한다. 제안된 SimFaC의 강인함을 검증하기 위해 우리는또한 공기 탁도 및 조명 조건 변화와
같은 환경적 변화가 포함된 장면 변화 감지 데이터 세트인 ChangeSim을 제안한다. 실험 결과에 따르면
SimFaC은 특히극단적인 도메인 이동 시나리오에서 기존의 State-of-the-art 방법보다큰차이(29%p)로
성능이 우수하다(F1-score 기준). 또한 SimFaC은 TSUNAMI, GSV, VL-CMU-CD 및 CDnet2014 데이터
세트에 대해 새로운 최고 정확도를 달성했으며, 여기서 성능개선의 폭은 각각 0.8%p, 1.8%p, 4.1%p, 9.0%p
이다. 더욱이, 제안한 SimFaC은 장소 인식(Visual Place Recognition)에 추가학습 없이 곧바로 적용이
가능하다. 제안하는SimFaC을 이용하여 장소인식과 변화감지를 동시에 수행했을 때, 이를 각각 수행한
베이스라인보다실행속도는약 3배 상승한 반면 정확도는유지되었다.
