Investigating the Effects of Chunking, Retrieval, and Reranking Strategies on Hallucination in RAG Systems per Query Type

Abstract

Large Language Models (LLMs) have achieved remarkable performance in natural language processing applications, but their tendency to produce information not grounded in fact—known as "hallucinations"—poses significant challenges. Retrieval-Augmented Generation (RAG) systems, which retrieve relevant documents from external knowledge bases to generate responses, offer a potential solution to reduce hallucinations. However, existing RAG systems often overlook how different configurations perform under varying query types, and there is a lack of systematic analysis on how components like chunking methods, retrieval algorithms, and reranking strategies interact to impact system performance. To address this gap, we propose a comprehensive evaluation framework that systematically analyzes RAG configurations by modifying key components—chunking methods, retrieval algorithms, and reranking strategies. We evaluate the performance of various combinations across seven query types, designed to test RAG systems under different information needs. We assess system performance using generation-focused metrics such as Lynx Pass Ratio, HHEM Consistency, and ROUGE-L Score. Our results demonstrate that while the combination of Semantic Chunking, BM25 Retrieval, and ColBERT Reranker generally provides effective configurations, the optimal combination varies depending on the query type. Some configurations without rerankers achieve high performance in specific metrics, but reranker-included configurations, particularly with ColBERT, consistently show balanced performance across key metrics, making them more suitable for complex tasks. For each query type, we identify the most effective approach, offering insights into how different components interact to influence system performance. Based on these findings, we present practical guidelines for designing RAG systems aimed at mitigating hallucination issues and enhancing reliability. This study underscores the significant role that customized chunking, retrieval, and reranking strategies play in RAG system performance and provides a foundation for future research to further refine these elements for improved results.;대형 언어 모델(LLM)은 자연어 처리(NLP) 애플리케이션에서 뛰어난 성능을 발휘하지만, 사실에 기반하지 않은 정보를 생성하는 '환각(hallucination)' 현상은 여전히 큰 문제로 남아 있다. 외부 지식 베이스에서 관련 문서를 검색해 답변을 생성하는 Retrieval-Augmented Generation (RAG) 시스템은 이러한 환각 문제를 줄이는 데 유망한 해결책으로 주목받고 있다. 그러나 기존 RAG 시스템은 쿼리 유형에 따라 서로 다른 구성 요소의 작동 방식에 대한 체계적인 분석이 부족하고, 청킹 방식, 검색 알고리즘, 리랭킹 전략이 시스템 성능에 미치는 상호작용에 대한 연구도 부족한 상황이다. 이러한 문제를 해결하기 위해 본 연구에서는 청킹 방식, 검색 알고리즘, 리랭킹 전략이라는 주요 구성 요소를 수정하여 RAG 시스템의 구성을 체계적으로 분석하는 평가 프레임워크를 제안한다. 다양한 정보 요구를 반영한 7가지 쿼리 유형에 대해 여러 구성 조합의 성능을 평가하고, Lynx Pass Ratio, HHEM Consistency, ROUGE-L Score와 같은 생성 중심 메트릭을 사용하여 시스템 성능을 측정한다. 실험 결과, Semantic Chunking, BM25 Retrieval, ColBERT Reranker 조합이 전반적으로 효과적인 구성으로 나타났지만, 최적의 조합은 쿼리 유형에 따라 달라지는 것으로 확인되었다. 일부 리랭커를 사용하지 않은 조합도 특정 메트릭에서 높은 성능을 보였으나, ColBERT를 포함한 리랭커 조합은 주요 메트릭 전반에서 안정적이고 균형 잡힌 성능을 보여 복잡한 작업에 더 적합하다는 결과를 얻었다. 본 연구는 각 쿼리 유형에 대해 가장 효과적인 접근 방식을 파악하고, 다양한 구성 요소가 시스템 성능에 어떻게 상호작용하는지를 분석하였다. 이러한 결과를 바탕으로 환각 문제를 완화하고 신뢰성을 높이는 RAG 시스템 설계 지침을 제시한다. 맞춤형 청킹, 검색, 리랭킹 전략이 RAG 시스템 성능에 중요한 영향을 미친다는 점을 강조하며, 향후 연구에서 이러한 요소를 더욱 세밀하게 조정하여 성능을 개선하는 데 기여할 수 있는 기초 자료를 제공하고자 한다.