Attention−based Twin Network System for Detecting Changed Areas

Abstract

This thesis investigates deep learning-based image comparison systems that detect changed areas between two images. Although previous studies on deep learning-based image comparison methods have shown impressive results in various fields, such as change detection in remote sensing images and defect inspection, these studies suffer from the problem of pseudo-change detection. The pseudo-changes can be generated due to registration errors, color variations, and environmental changes between two images, whereas they should not be detected as genuine changes even though the intensity values of the corresponding pixels are significantly different. To address the problems mentioned above, this study proposes novel deep learning-based image comparison methods that can be more robust to mis-registration, color variation, and environmental changes than existing image comparison methods on the following three topics: change detection, reference comparison-based integrated circuit (IC) substrate inspection, and reference comparison-based IC substrate inspection using computer-aided design (CAD) images for fabrication. The first topic is deep learning-based change detection in remote sensing images that aims to identify significantly changed areas in co-registered bi-temporal images of the same area. The change detection tasks remain challenging problems due to pseudo-changes caused by different weather conditions, noises, and seasonal changes between bi-temporal images. To achieve improved robustness to pseudo-changes, we propose a novel channel-wise co-attention module-based change detection method. For a feature map in one image, the proposed method finds similar feature maps in the other image by considering channel-wise correlations. After that, by comparing the feature map in one image with the combination of similar feature maps in the other image, the proposed method can alleviate the problem of pseudo-change detection. Besides, a contrastive loss function that encourages the pairs of feature maps corresponding to unchanged regions to be similar is used. The experimental results demonstrated that the proposed method outperforms the previous change detection methods. The second topic is deep learning-based defect inspection for IC substrates that have been widely used in packaging bare IC chips. IC substrate inspection can be performed using referential inspection methods that identify defective regions by comparing a test image to be inspected with a reference image. However, referential inspection methods may cause false positives when inspecting image pairs with mis-alignment and characteristic differences such as color variation. To address these problems, we present an efficient referential inspection method with a novel co-attention module. The module jointly considers spatial-wise and channel-wise dependencies between a feature block in one image and other feature blocks in the other image to find similar feature blocks in the other image. Then, by comparing the feature block in one image with similar feature blocks in the other image, the proposed method can reduce errors due to both mis-registration and characteristic differences. This thesis confirmed that the proposed method achieves improved performance compared with existing inspection methods and improved robustness to both mis-registration and characteristic differences. The third topic is reference comparison-based IC substrate inspection that uses a CAD image as a reference image. In situations where it is difficult to obtain a reference image, a CAD image can be used as a reference image to detect defects. However, characteristic differences exist between CAD and test images, such as color and pattern thickness, which may cause performance degradation. For high-performance IC substrate inspection, this study proposes novel modules that effectively address the problem of characteristic differences between two images: an image transform module, an image comparison module, and a suppression module. The proposed method first transforms a CAD image to be similar to a defect-free test image using the image transform module. After that, the image comparison module compares the transformed image with a test image. In the comparison process, the suppression module emphasizes meaningful features and suppresses unnecessary features due to characteristic differences. The results of the qualitative and quantitative experiments demonstrated that the proposed method outperforms the previous investigations. ;최근 두 장의 영상을 비교하여 변화된 부분을 검출하는 연구가 원격 탐사 응용 분야, 제품 불량 검사 분야 등 다양한 분야에서 각광을 받고 있다. 더욱이, 딥 러닝 기술이 컴퓨터 비전 분야에 성공적으로 적용됨에 따라 딥러닝 기반 영상 비교 방법에 관한 연구가 많이 수행되고 있다. 기존의 딥 러닝 기반 영상 비교 방법들은 영상 처리 기반 영상 비교 방법들 보다 높은 성능을 보이지만, 두 장의 영상 사이에 정합 오차 혹은 특성 차이가 존재하면 성능이 저하되는 문제점이 있다. 따라서, 본 논문에서는 정합 오차와 특성 차이에 강인한 딥 러닝 기반 영상 비교 방법들을 연구하였고, 아래와 같이 영상 비교와 관련된 세 가지 주제를 선택하여 제안 방법들의 성능을 검증하였다. 첫 번째 선택한 주제는 서로 다른 시간에 촬영된 같은 위치의 영상에서 변화된 영역을 찾는 변화 탐지 (change detection) 이다. 위성 영상과 항공 영상의 활용도가 커지면서 도시 개발, 산림 변화, 불법 및 무허가 건물, 자연 재해로 인한 피해 등을 탐지하기 위해 변화 탐지 방법들이 활발하게 연구되고 있다. 그러나, 대부분의 기존 연구에서는 영상 간의 환경 변화 (예시. 계절 변화, 날씨 변화 등) 로 인해 오탐이 발생하여 탐지 성능이 저하되는 문제점이 있다. 본 논문에서는 상기에 언급한 문제점을 해결하기 위해 환경 변화와 같은 특성 차이에 강인한 딥 러닝 기반 변화 탐지 방법을 제안한다. 자세한 내용은 1장에서 설명한다. 두 번째 선택한 주제는 반도체 기판 (IC substrate) 불량 검사이다. 반도체 기판은 반도체 패키징 공정에서 필요한 소재로, 반도체 칩을 메인 보드와 연결하고, 외부 충격으로부터 보호하는 등의 매우 중요한 역할을 하므로 반드시 품질 검사가 수행되어야 한다. 반도체 기판 불량 검사는 참조 영상 (reference/golden image) 과 테스트 영상을 비교하는 참조 검사 방법으로 수행될 수 있는데, 해당 방법은 영상 간의 색상 변화와 같은 특성 차이 및 정합 오차에 취약하다는 문제점이 있다. 따라서, 본 논문에서는 정합 오차 및 색상 변화에 모두 강인할 수 있는 딥 러닝 기반 고성능 참조 기반 반도체 기판 불량 검사 방법을 제안한다. 자세한 내용은 2장에서 설명한다. 세 번째 선택한 주제는 디자인 파일로부터 생성한 영상 (이하 “CAD 영상”이라 칭함) 을 활용하는 반도체 기판 불량 검사이다. 참조 기반 불량 검사는 참조 영상이 양품 영상이라는 전제하에 수행되지만 실제로는 양품 영상임을 보장하기 어렵고, 이는 검사 성능 저하로 이어질 수 있다. 또한, 참조 영상을 획득하기 어려워 비교 기반 불량 검사를 수행할 수 없는 상황이 발생할 수도 있다. 상기에 언급한 문제점들을 해결하기 위하여 최근 양품 영상임이 보장되는 CAD 영상을 참조 영상으로 사용하는 참조 검사 방법들이 연구되고 있다. 그러나, CAD 영상과 실제 제작된 기판 사이에는 색상, 패턴 두께, 잡음, 구조물 유무 등의 특성 차이가 크게 존재하여 검사 성능이 저하되는 문제점이 있다. 본 논문에서는 CAD 영상의 이점을 활용할 뿐만 아니라 특성 차이로 인한 영향을 최소화하여 검사 성능을 획기적으로 향상시킬 수 있는 딥 러닝 기반 참조 검사 방법을 제안한다. 자세한 내용은 3장에서 설명한다.