A comparative study of cross-domain fashion image retrieval

Abstract

이미지 검색은 검색 엔진이나 이커머스에서 주로 사용되는 기술로, 특히 패션 플랫폼에서는 유사한 의류 상품을 추천하거나 검색하는 기능을 제공하기 위해 이미지 검색 기술을 사용한다. 서로 다른 도메인을 가지는 이미지들을 이용한 패 션 이미지 검색은 일례로 상품 자체의 이미지가 주어졌을 때 모델 착용 이미지 데이터베이스에서 검색하는 것과 같이 쿼리 이미지로 특정 도메인의 이미지가 주 어졌을 때, 데이터베이스에 저장된 다른 도메인을 가지는 동일한 상품의 이미지를 검색하는 것을 말한다. 지난 수년간 내용 기반 이미지 검색에 대한 응용 연구는 주로 정확성의 차원에서 연구되어왔다. 이에 패션 이미지 검색의 벤치마킹 데이터 인 Deepfashion In-shop (Liu et al., 2016) 데이터에 대해 가장 높은 성능을 보이는 the combination of multiple global descriptors (CGD) (Jun et al., 2019) 모델을 이용하여 이미 지 검색 성능을 측정한 후, CGD 모델 구조를 간단하게 변형한 모델 (SingleGD)과 비교하여 전역 디스크립터의 결합의 효과를 살펴본다. 또한 CGD 방식이 갖는 매 개변수 증가의 문제를 지적하며 보조 손실함수를 카테고리 분류 손실함수로 변형 하는 것을 제안한다.;Image retrieval is a technology mainly used in e-commerce and search engines in terms of recommendation or retrieval systems. Cross-domain Fashion Retrieval aims to search for similar images to a query image among database images that have a distinct domain from a query image, such as the person-wearing images in this paper (Ning et al., 2022). For the past few years, fashion image retrieval has been studied as an application of Content-Based Image Retrieval. It is known that using a Deep Convolutional Neural Network (DCNN) pre-trained backbone, global descriptor and triplet loss yields acceptable performance and Batch Hard mining improves performance. In this study, applying the above methods, we conducted a comparison study of the combination of multiple global descriptors (CGD) (Jun et al., 2019), which achieved state of the art on Deep fashion In- shop Benchmark Dataset (Liu et al., 2016), with the proposed methods, SingleGD and modified versions of CGD and SingleGD. Then, we found that the modified CGD has the advantage of inferring both retrieval and category classification with a single forwarding pass.