임의 숲 형태의 딥 러닝 구조와 영상분류

Abstract

최근 컴퓨터 비전 분야에서 딥 러닝 기법 중 하나인 CNN (Convolutional Neural Network)을 이용한 데이터 학습 기반의 알고리즘이 다양한 분야에서 우수한 성능을 보이고 있다 [1], [2], [3], [4], [5]. 그 중 방대한 양의 영상분류문제 (Large image classification)는 최소 50,000 개수의 영상이 10개수의 카테고리에 속한 영상들을 분류하는 문제로 CNN기반의 연구가 역시 기존 방식 대비 높은 분류성능을 보이고 있다 [6], [7], [3]. 그러나 최근의 영상분류문제는 다른 클래스에 속하지만 서로 비슷한 영상특성을 갖는 샘플들이 다수 존재하기 때문에 단일 모델로 전체 클래스를 효과적으로 분류하기 어려운 문제가 있다. 이러한 문제를 해결하기 위하여 기존의 CNN 기반 연구는 "deeper is better"의 아이디어에 따라 보다 깊은 계층을 생성하여 보다 많은 수의 노드와 노드 간 연결을 이용하여 성능을 향상시키고자 하였다 [3]. 그러나 CNN의 구조가 깊으면 학습에 필요한 데이터의 숫자와 학습 시간이 기하급수적으로 늘어나게 되는 단점이 있다. 따라서 본 논문에서는 딥러닝 구조의 계층 수를 단순히 증가시키는 방식 이외에 CNN기반의 단일 모델 구조를 개선하여 영상분류성능을 향상시키기 위한 기법을 제안한다. 본 논문에서는 먼저 이진 트리 형태로 CNN 구조를 개선하고 각 독립적인 CNN 트리 (Tree-CNN)를 생성하여 CNN 숲 (Forest-CNN)으로 확장하는 기법을 제안한다. Tree-CNN은 Root-network와 Expert-network를 이진트리구조를 이용하여 계층적으로 구성한다. 트리의 Root-node는 Root-network를 통해 일차적으로 영상분류를 수행하고 그 결과를 이용하여 Child-node의 Expert-network에서 적응적으로 영상분류를 수행함으로써 전체영상분류성능을 향상시킨다. 이진트리의 분기와 그에 따른 Expert-network의 구성을 위해서는 현재 노드 네트워크의 혼동 매트릭스(confusion matrix)를 이용한다. 현재 노드에서 혼동 매트릭스로부터 혼동 정도가 높은 클래스들끼리 묶어 재구성하고 분기 후 Child-node의 Expert-network를 통해 다시 분류한다. 본 논문에서는 또한 Expert-network의 효율적인 학습 알고리즘을 제안한다. 제안 기법에서는 Expert-network의 학습은 Parent-node 네트워크의 low-level 특징들을 공유하고 일부 계층만을 한정된 클래스의 영상샘플로만 재학습하여 계층적인 CNN 모델로 인한 추가적인 학습시간의 증가를 최소화한다. 즉 Expert-network는 특정 layer의 계수만 새롭게 학습함으로써 Expert-Network에 할당된 클래스들을 분류하기 위한 정교한 특징을 학습한다. 마지막으로 본 논문에서는 Tree-CNN의 앙상블로서 Forest-CNN을 개발한다. Tree-CNN은 트리 구성과 사용 데이터 샘플의 숫자 등의 학습 방식에 따라 성능변동의 폭이 다소 클 수 있다. 이러한 단점을 극복하기 위하여 다수의 임의 Tree-CNN의 집합으로 Forest-CNN을 구성하여 영상분류를 수행한다. 이 때 각 Tree-CNN은 독립적인 영상분류결과를 산출하고, 최종적으로 다수결의 원칙에 따라 최종분류결과를 보인다. 제안 기법의 성능향상을 보이기 위하여 실험에서는 Root-network의 사전학습모델(pre-trained model)을 기본 모델로 설정하여 성능을 비교한다. 뿐만 아니라 계층 구조의 단일 모델이 지닐 수 있는 단점을 Forest-CNN이 보완하게 됨을 보인다. 실험 결과에 따르면 제안 기법은 CIFAR-10 데이터셋 기준으로 90.19%의 테스트 성능을 달성한다. 이는 CNN기반의 영상분류 기법 중 state-of-the-art인 Wide Residual Network 네트워크 [8] 대비 1.16%만큼 영상분류성능을 향상시킨다.;Nowadays, CNN (Convolutional Neural Network) have shown high performance in image classification. To get more powerful CNN models in image classification, recent works focus on how to develop deep architecture. Here, we propose a new architecture, Forest-CNN using Tree-CNN from the point of view of architecture. Several new architectures are motivated from data hierarchy since CNN is data-driven prediction model. Some of them have hierarchical structure. However, tree structure has disadvantage that it would be critical false prediction from root node and cannot be compensated at all until it goes to the leaf if the sample is predicted to wrong class from the root node. To solve this problem, we propose Forest-CNN which consists of multiple random CNN-Trees providing randomness and generalization using data hierarchy by developing suitable object function for CNN. To compare the proposed algorithm with the pre-trained model, we set pre-trained model as a root. The proposed algorithm shows classification accuracy of 90.19% on CIFAR-10 dataset [19].