Towards Explainable Image Classifier

Abstract

With grown interests in Explainable Artificial Intelligence (XAI), many studies are proposed to provide explanations for the predictions of machine learning algorithms. Some of the works have focused on developing inherently interpretable models which can be easily understood by humans, while other works have focused on generating explanations which approximate the inner working mechanism of the complex models. In response, we seek an explanation method which can provide a human-style explanation, that is, the same sort of explanation we receive from other humans. We propose four novel explainable image classifiers to explain the classification result of black-box model, especially, the image classification result of Convolutional Neural Network (CNN). The first model is proposed to utilize relational information, particularly, the pairwise relationship between a query image and sample images, to provide the explanation of the classification results. Our proposed model is composed of two modules to perform classification of the query data and to explain the classification results by suggesting pairwise sets of the query data in the part-level. The query image first goes through our classification module to classify its class label. Then, the image is fed into our pairwise analysis module to search the most similar pairwise sample from the database where the comparison is done for each object part within the image. The classification module is trained with MobileNet enabling efficient computation with high accuracy and the pairwise analysis module is achieved by the distance metric learning based on Large Margin Nearest Neighbor (LMNN). Our experiments on Stanford Cars dataset have shown significant performances in both classification and pairwise analysis modules. Our model has contribution as an explainable classification model which directly explains the result of classification and to our best knowledge, this is the first research to use relational information in the context of XAI. Second, we propose an explainable image classifier by viewing a multi-class classification problem as a Multiple Choice Question (MCQ) problem which is to choose a single answer from a set of plausible hypotheses. Our model performs the class prediction of a lung CT scan for lung cancer diagnosis and explains the classification result by examining each of multiple class choices based on importance maps. Given a query image, our proposed framework consists of the classification module to predict a single class label using CNN and the explanation module to output importance maps for each of class choices. From these importance maps for each class choice, we can visually distinguish the correct class label and eliminate the incorrect class labels. We perform our experiments on a large- scale CT and PET/CT (Lung-PET-CT-Dx) dataset for lung cancer diagnosis and results have shown notable performances in both classification and explanation modules. Our proposed model can help medical experts who require information supporting their diagnosis by providing trustworthy and transparent explanations. Third, we propose an explainable image classifier to measure the distribution of contribution of each object part within a query image. Given a query image, our model clarifies which object parts should be attended and quantitatively measures the distribution of contribution of each part to the class prediction. Our model performs object part localization based on attention-based localization using channel grouping to group multiple feature channels each to indicate certain object part. Then, each part localization is classified into a class label and these part classification results are concatenated together to make the final class prediction and to analyze the distribution of contribution of each part on the prediction. Therefore, our model can explain the classification result by outputting not only the class prediction but also the discriminative object parts contributed to the prediction and the numeric value of how much each object part has contributed to the prediction. Our model is trained on Facial Expression Recognition 2013 (FER-2013) dataset and results have shown notable performances. As discriminative part localization enables fine-grained image classification of facial expressions, our model can contribute to quantitatively prove which facial part affects the most to the prediction and to identify which part is the key characteristic for the certain expression. Finally, we propose an explainable image classifier to represent multiple semantics of a query image by performing hierarchical and horizontal attribute prediction. Given a query image, our model analyzes semantic representations of the query image to suggest interpretable representations of both hierarchical-level attributes of fine-grained category and horizontal-level attributes of visual features including fabric, pattern, and color. Therefore, our model can explain the classification result by analyzing multiple units of attributes, each of which is designed to be traced by the CNN classifier and to coincide with the concept that is interpretable to humans. We train our model using DeepFashion image dataset which contains multiple units of semantics including hierarchical category, fabric, pattern, and color. Our model has contribution as an explainable classification model which directly explains the result of the classification based on semantic representations and to our best knowledge, this is the first research to analyze both hierarchical level of fine-grained category and horizontal level of visual features in the context of XAI.;딥러닝(Deep Learning)의 발전과 함께 딥러닝 모형에 대한 설명력 부족의 문제가 제기되고 있다. 이에 따라 딥러닝 모형의 설명력을 개선하기 위해 모형의 매개변수 간소화, 유사 모형을 통한 설명(knowledge distillation using surrogate model), 국소적인 부분에 대한 설명(local explanation) 등의 연구가 시도되어 왔다. 하지만 여전히 전역적인 모형의 설명(global explanation)에 대한 연구는 부족하여, 특히 분류 모형의 예측 결과에 대한 설명이 요구된다. 적절한 설명을 위해서는 알고리즘 차원의 접근이 아닌 딥러닝 알고리즘의 수용 차원에서의 접근이 필요하다. 즉 ‘설명을 잘하는 사람에 의한 좋은 설명’을 모사하는 접근이 필요하다. 따라서 이미지 분류 문제에서 모형의 예측 결과에 대한 설명을 위한 새로운 접근을 시도해 볼 수 있다. 첫째, 이미지들간의 관계 정보(relational information)를 파악 및 활용하는 접근에 기반하여, 임의의 이미지와 학습 이미지가 쌍을 이루는 관계(pairwise relationship)를 활용한다. 둘째, 다중분류문제(multi-class classification problem)를 다지선다형 문제(Multiple Choice Question, MCQ)의 해결이라 가정할 때, 정답 선택지를 선택하는 것 뿐만 아니라 오답 선택지를 소거하는 것도 중요함을 보여준다. 셋째, 정답에 기여한 부분들을 파악하고 이들 부분이 정답에 기여한 정도를 구체적인 값으로 제시한다. 넷째, 임의의 이미지를 분류하는데 사용된 주요 의미론적 정보(semantic representation)를 제시한다. 이러한 분류 결과의 설명에 대한 접근을 기반으로 다음의 네 가지 설명 모형을 구조화할 수 있고, 이들 접근이 모형의 설명력 개선에 기여함을 뒷받침하는 이론적 근거를 찾을 수 있다. 첫 번째 모형은 임의의 이미지가 속한 클래스 내에서 이미지의 각 부분에 대해 가장 유사한 쌍을 이루는 이미지를 찾아 제시함으로써 임의의 이미지가 해당 클래스의 다른 이미지들과 얼마나 유사한 지를 보여준다. 대개 유사한 이미지는 동일한 클래스에 속하고 이들 유사한 이미지들간의 개별 클러스터를 형성하는 경향이 있기 때문에 인간은 주어진 이미지의 클래스를 몰라도 다른 이미지와 동일한 클래스에 속하는지 여부를 판별하고, 이미지의 어느 부분이 서로 유사한지 정확하게 지적할 수 있다. 이처럼 기계 학습을 통한 분류 모형도 이미지의 어떤 부분이 클래스를 예측하는 데 기여했는지, 어떤 부분이 서로 유사한지 추론 할 수 있다. 따라서 쿼리 이미지와 다른 학습 이미지 간의 관계 정보, 특히 쌍을 이루는 관계를 활용하여 이미지 분류 결과를 설명할 수 있다. 두 번째 모형은 다중분류문제를 다지선다형 문제의 해결이라 가정하고 정답 선택지를 선택하는 것 뿐만 아니라 오답 선택지를 제거하는 것을 설명한다. 각 선택지를 분석하고 오답 선택지를 소거하면서 다중분류문제의 설명력을 높일 수 있다. 교육학적 관점에서 다중분류문제의 선택지를 분석함으로써 우리는 선택지가 내포하는 지식을 흡수하게 되고, 그 결과 오답을 소거하고 정답을 선택하는 결정을 설명하는 토대가 된다. 따라서 이러한 다지선다형 문제 해결 프로세스를 모방하여, 다중분류문제의 여러 클래스 후보를 각각 분석한 결과에 기반해 최종적인 정답 클래스의 도출에 이르도록 분류 모형을 설계함으로써 분류 결과를 설명할 수 있다. 세 번째 모형은 임의의 이미지를 특정 클래스로 분류하는데 기여한 부분과 정도를 파악함으로써 분류 결과를 설명한다. 각 입력 이미지에 대하여 합성곱신경망(Convolutional Neural Network, CNN) 분류 모형은 서로 다른 부분에 대한 서로 다른 필터(filter) 세트를 활성화하여 최종 예측 점수를 계산한다. 즉 분류 모형은 각 부분의 중요성을 기반으로 해당 부분이 CNN 구조 내에서 어떠한 정보를 전달하고 이들 부분이 최종 예측에 얼마나 기여하는지 식별할 수 있다. 이때 이미지 내에서 객체의 부분을 찾는 것은 정밀한 이미지 분류(fine-grained image classification)를 위한 유효한 국소적 설명(local explanation)으로 작용한다. 그리고 이러한 국소적 설명에서 발견되는 공통적인 설명을 추출하여 전역적 설명(global explanation)을 얻을 수 있으므로, 각 로컬 정보(local information)의 기여도를 파악함으로써 분류 모형의 예측에 대해 전역적으로 이해할 수 있다. 따라서 CNN 분류 모형에서 최종 클래스 예측을 위해 각 로컬 정보가 기여한 정도를 정량적으로 산출하도록 설계함으로써 분류 결과를 설명할 수 있다. 마지막으로 네 번째 모형은 임의의 이미지를 특정 클래스로 분류하는데 사용된 주요 의미론적 정보(semantic representation)를 제시함으로써 분류 결과를 설명한다. 하나의 이미지 내에서 발견되는 시맨틱(semantics)으로는 객체(objects), 부분(parts), 상황(scenes), 질감(textures), 소재(materials), 색상(colors) 등이 있다. 일반적인 CNN 분류 모형은 여러 필터 세트를 활성화하여 최종 예측 점수를 계산하기 때문에 그 자체로는 이들 시맨틱을 구분하거나 제시하지 않는다. 하지만 분류 모형이 시맨틱을 추론하고 분류 결과와 함께 제시한다면 분류 결과에 대한 설명으로 작용할 수 있다. 그 이유는 원-핫-인코딩(one-hot-encoding)과 같은 대표적인 해석 가능한 모형(interpretable model)에서는 각 변수가 추적이 가능하고 각 변수가 인간이 해석할 수 있는 하나의 개념과 정확히 일치하는데, 이처럼 각 시맨틱에 대한 추적이 가능하도록 CNN의 설계와 학습이 이루어진다면 이미지를 구성하는 픽셀들이 해석 가능한 개념으로 표현될 수 있기 때문이다. 따라서 해석 가능한 개념인 시맨틱을 CNN 분류 모형이 추론하고 제시하도록 설계함으로써 분류 결과에 대한 이해와 설명을 향상시킬 수 있다. 따라서 본 연구에서는 다음의 네 가지 이미지 분류기를 구현한다. Explainable image classifier based on pairwise analysis 모형은 쿼리 이미지가 분류기를 통과해 클래스 라벨을 산출함과 동시에 쿼리 이미지 내의 객체 부분(object part) 단위로 pairwise relationship analysis를 수행해 각 객체 부분과 쌍을 이루는 학습 이미지를 각각 제시한다. 모형의 classification을 위해 CNN 아키텍처 중 MobileNet을 기반으로 구현하고 pairwise relationship analysis를 위해 distance learning metric 기반 similarity measure을 수행한다. 내용기반 이미지 검색(Content-based Image Retrieval, CBIR), 결함 검출(fault detection) 등에서의 제안 모형의 적용을 고려해 대표적인 이미지 데이터셋인 Stanford Cars dataset으로 실험을 진행한다. 본 제안 모형은 이미지 자체에서 발견되는 정보, 특히 관계 정보를 활용하지 않는 기존의 설명 모형 연구와 차별성을 가진다. 또한 대부분의 pairwise relationship analysis는 이미지의 클래스 단위로만 비교가 이루어졌고, 객체 부분 수준에서의 비교는 아직까지 활용되지 않았다. 따라서 분류 결과에 대한 설명을 위해 관계 정보를 기존의 분류 결과와 함께 제시하는 새로운 모형 제안한다는 연구 의의를 가진다. Explainable image classifier based on multiple choice question 모형은 쿼리 이미지의 클래스 라벨을 산출할 뿐만 아니라 다른 클래스가 제외된다는 클래스 선택지별 오답 소거의 설명을 함께 제시한다. 모형의 classification을 위해 CNN 아키텍처 중 ResNet을 기반으로 구현하고 각 클래스 별 importance map를 산출해 오답 클래스를 소거한다. 의료영상진단(medical image diagnosis)에서의 활용을 고려해 A Large-Scale CT and PET/CT Dataset for Lung Cancer Diagnosis으로 실험을 진행한다. 본 제안 모형이 가지는 차별성은 기존의 설명 모형의 정답에 기여한 부분만을 강조하는 것이 아닌 다른 선택지가 오답인 이유를 보여준다는 것이다. 따라서 분류 결과에 대한 설명을 위해 오답 분석을 기존의 분류 결과와 함께 제시하는 새로운 모형 제안한다는 연구 의의를 가진다. Explainable image classifier based on distribution of contribution 모형은 쿼리 이미지의 클래스 라벨을 산출할 뿐만 아니라 객체 부분별 클래스 라벨의 산출에 기여한 정도를 distribution of contribution으로 나타내어 함께 제시한다. 모형의 classification을 위해 CNN 아키텍처 중 VGGNet을 기반으로 구현하고 각 객체 부분의 localization을 위해 attention-based localization을 수행해 이들 객체 부분이 최종적인 클래스 라벨 산출에 기여한 정도를 구체적인 값으로 구한다. 이때 특성 지도(feature map)의 channel grouping을 통한 정확한 part localization으로 이미지의 분류 결과에 중요한 영향을 주는 객체 부분들을 파악하고, 각 부분이 기여한 정도를 fully- connected layer와 softmax layer의 probability score로 연산한다. 얼굴 인식이 필요한 다양한 분야에서 활용될 수 있는 Facial Expression Recognition 2013 dataset으로 모형을 학습한다. 지금까지 feature importance를 구하는 다양한 연구들이 수행되어왔지만, 본 제안 모형은 기존의 이미지의 특성 지도 상의 픽셀 단위의 중요도(importance)가 아닌 이미지 내 객체 부분 단위의 중요도에 집중한다는 점에서 차별성을 가진다. 또한 기존의 연구들이 feature importance를 구하는데 그치고 이들 feature importance를 기반으로 distribution of contribution을 구하는 연구는 아직까지 부족했다면, 본 제안 모형은 객체 부분 단위의 중요도를 파악하고 이를 기반으로 distribution of contribution을 구체적인 값으로 산출하기까지 확장한다. 따라서 분류 결과에 대한 설명을 위해 객체 부분 별 정답 기여도를 기존의 분류 결과와 함께 제시하는 새로운 모형을 제안한다는 연구 의의를 가진다. Explainable image classifier based on attribute prediction 모형은 쿼리 이미지의 클래스 라벨을 산출할 뿐만 아니라 쿼리 이미지를 나타내는 여러 의미론적 정보를 함께 제시한다. 여러 시맨틱 중에서도 본 제안 모형에서는 hierarchical-level을 정의할 수 있는 category 정보와 horizontal-level로 이루어진 visual feature 정보를 함께 활용하는 것을 제안한다. 즉, 쿼리 이미지에 대하여 multi-level hierarchical category, fabric, pattern, color 정보를 산출하는 모형을 제안한다. CNN 아키텍처를 기반으로 한 모형의 학습을 위해 각각의 attribute에 대한 attribute-aligned loss를 적용한다. 본 연구에서는 가장 대표적으로 여러 종류의 시맨틱을 포함하는 DeepFashion dataset으로 모형을 학습한다. 기존의 분류 모형에서 시맨틱에 대한 다양한 연구들이 수행되어 왔지만, 이들 시맨틱을 hierarchical-level과 horizontal- level로 나누는 접근은 이루어지지 않았다. 뿐만 아니라 hierarchical-level과 horizontal-level 두 가지 접근을 동시에 수행하는 연구 또한 없었다. 따라서 본 제안 모형은 분류 결과에 대한 설명을 위해 hierarchical-level과 horizontal-level에 해당하는 여러 semantic attributes를 기존의 분류 결과와 함께 제시하는 새로운 모형 제안한다는 연구 의의를 가진다.