CNN 기반 다중레이블 전이학습을 활용한 SNS 관광 사진 분석

Abstract

관광객이 관광 활동 후 실시간으로 SNS에 업로드한 데이터는 관광지에 대한 관광객의 생각이 그대로 반영된 데이터로 대중의 관광 선호를 직접적으로 파악할 수 있는 중요한 데이터이다. 잠재적인 관광객들은 다른 사용자들이 SNS에 공유한 콘텐츠를 통해 관광지에 대한 이미지를 인식하고 새롭게 방문할 관광지를 선택한다. 따라서 관광객이 SNS에 게시한 데이터를 분석함으로써 관광 주체의 입장에서 대표 관광요소, 관광지 이미지 및 현 관광 트렌드를 빠르게 파악할 수 있다. SNS 데이터를 활용한 관광 연구에 있어 RoA 분석, 이동궤적 분석, 관광지 추천, 텍스트 분석 등 다양한 연구가 진행되었다. 그러나 관광 사진을 직접 분석하려는 연구는 이미지 분석 방법론의 한계로 인해 활발히 진행되지 않았다. 2012년 AlexNet이 출시된 이후, 컴퓨터 비전 분야에서 딥러닝을 활용한 CNN 기반의 이미지 분류모델이 빠르게 개발되면서 사진 분석 연구의 가능성이 크게 확대되었다. 이로 인해 국외에서는 CNN 모델을 활용하여 도시 및 관광 사진을 적극적으로 연구하고 있지만, 국내에서 CNN을 활용한 관광 사진 연구는 거의 진행되지 않았다. 본 연구의 목적은 CNN 기반 다중레이블 전이학습을 통해 SNS에 업로드된 한국 관광 사진을 분류함으로써 관광지 특성을 분석하는 것이다. 관광 사진은 관광 장면을 촬영한 사진으로 여러 객체와 배경 등으로 복합적으로 구성되어 있다. 그러나 현재 관광 분야에 사용되는 CNN 이미지 분류모델의 경우 사진으로부터 대부분 1개의 레이블만을 추출하기 때문에 이를 그대로 적용할 경우 관광 사진에서 다양한 컨텐츠를 추출하기 어렵다는 한계가 있다. 효과적인 관광 사진 분석을 위해 CNN 모델이 다중레이블을 출력할 수 있도록 모델을 미세조정하는 과정이 필요하다. 따라서 본 연구에서는 관광 사진에서 다중레이블을 추출하는 CNN 모델을 구축 및 전이학습 하였다. 이를 위해 높은 성능의 딥러닝 모델의 일부 레이어를 교체하고 한국 관광 사진 데이터셋에 대해 모델을 전이학습 하였으며, 외국인 관광객이 국내에서 촬영한 사진에 해당 모델을 적용하여 관광지 특성을 분석하였다.;The data uploaded by tourists to SNS in real time after tourist activities reflect the tourists' thoughts on tourist destinations, allowing us to directly understand tourist preferences of the public. Potential tourists recognize images of tourist destinations shared on social media by other users and select new tourist destinations to visit. Therefore, analyzing the data posted by tourists on SNS can help us quickly grasp representative tourism elements, tourist destination images, and current tourism trends from the perspective of tourists themselves. Although tourism studies using SNS data have employed various methodologies such as RoA analysis, trajectory analysis, tourist destination recommendation, text analysis, due to the limitations of image analysis methodology, there was a lack of studies that attempted to directly analyze tourism photos. However, the release of AlexNet in 2012 greatly expanded the possibilities of photo analysis studies with the rapid development of the CNN-based image classification models using deep learning in the field of computer vision. Foreign studies on city and tourism photography now use the CNN model frequently, whereas there are few Korean studies on tourism photography using CNN. The purpose of this study was to analyze the characteristics of tourist destinations by classifying Korean tourism photos uploaded to SNS by using the CNN-based multi-label transfer learning. Tourist photographs of tourist scenes are complicatedly composed of several objects and backgrounds. However, since the CNN image classification model currently used in the tourism field mostly extracts only one label from photographs, it is difficult to extract various contents from tourism photographs if the model is applied as it is. Therefore, in order to effectively analyze tourism photos, a process of fine-tuning the model is necessary so that the CNN model can output multiple labels. In this regard, the current study constructed the CNN model that could extract multiple labels from tourist photographs and performed transfer learning; this study replaced some layers of a high-performance deep learning model, conducted transfer learning on the Korean tourism photo dataset, and applied the model to photos taken by foreign tourists in Korea to analyze the characteristics of tourist attractions.