A Hybrid Residual Forecasting Method Using GPT-4o for Time Series Prediction

Abstract

이 연구의 목적은 통계 모델링과 대형 언어 모델(LLM)을 통합하여, 시계열 예측의 정확성과 해석 가능성을 향상시키는 하이브리드 잔차 예측 방법을 개발하는 것입니다. 시계열 예측은 소매, 금융, 에너지, 교통 등 다양한 분야에서 중요한 역할을 합니다. 정확한 예측을 통해 조직은 정보에 입각한 결정을 내리고, 자원을 효율적으로 할당하며, 변화에 능동적으로 대응할 수 있습니다. 정확도가 조금만 개선되어도 유의미한 경영 및 경제적 이점을 얻을 수 있습니다. '자기회귀 통합 이동 평균(ARIMA)'과 같은 전통적인 모델은 오랫동안 추세와 계절성을 포착하는 데 효과적이었지만, 데이터가 비선형 패턴이나 급격한 변동을 보일 때는 선형 가정이 성능을 제한합니다. 이러한 한계를 극복하기 위해 '일반화된 가산 모델(GAM)'은 해석 가능성을 유지하면서 예측 변수와 대상 변수 간의 비선형 관계를 유연하게 포착하는 매끄럽고 Spline 기반의 함수를 도입하여 전통적인 회귀를 확장합니다. 최근에는 시계열 예측을 위해 '대형 언어 모델(LLM)'이 탐구되고 있으며, 이들의 맥락적 추론 능력은 순차적 데이터 전반에 걸쳐 잠재적인 이점을 보여주고 있습니다. 해석 가능성, 효율성 및 예측 정밀도의 균형을 맞추기 위해, 이 연구는 고전 통계 모델링과 멀티모달 LLM인 GPT-4o를 결합한 하이브리드 잔차 예측 방법을 제안합니다. 이 접근법에서는 ‘ARIMA’ 또는 ‘GAM과 ARIMA의 조합’이 먼저 기준 예측을 생성합니다. ARIMA는 시간적 의존성을 포착하고, GAM은 외부 예측 변수가 있을 때 비선형 효과를 모델링합니다. 그런 다음 GPT-4o를 zero-shot, 프롬프트 기반 구성으로 적용하여 기준 모델에서 잔차(오류)를 정제합니다. 이를 통해 GPT-4o는 잔차 보정 역할을 하여, 재훈련이나 미세 조정 없이 정확도를 향상시킬 수 있습니다. 안정성과 수치적 일관성을 보장하기 위해 중앙 절대 편차(MAD) 기반 경계와 기준선 대비 ±2\% 캡이라는 두 가지 견고한 가드레일이 도입되었습니다. 이 방법은 단변량 에어 승객 데이터셋과 다변량 월마트 판매 데이터셋이라는 두 가지 벤치마크 데이터셋에서 평가되었습니다. 에어 승객 데이터의 경우 하이브리드 구성(GAM + ARIMA + GPT-4o)으로 평균 절대 백분율 오차(MAPE)가 9.41\%에서 9.10\%로 감소했습니다. 월마트 데이터셋의 경우, 2,3개의 특징 설정에선 일관된 증가가 관찰되었으며, 5개 특징 구성은 기준선과 비교할 만한 수준을 유지했습니다. 또한, 보정 후에도 유의미한 자기상관이 남아 있지 않음을 확인하기 위해 Ljung-Box 테스트를 통해 잔차를 조사하여 하이브리드 모델이 정확도 향상과 함께 통계적 신뢰성을 만족하는지 확인했습니다. 연구 결과에 따르면 LLM은 구조화된 예측 시스템 내에서 잔여 정제기로 활용될 때 가장 우수한 성능을 보입니다. 제안된 하이브리드 접근 방식은 ARIMA와 GAM의 통계적 기초와 GPT-4o의 문맥 추론 능력을 효과적으로 결합하여 예측 정확도에서 안정적이고 해석 가능한 향상을 달성합니다. 전반적으로, 본 연구는 언어 모델을 정량적 예측 작업에 통합하는 실용적이고 신뢰할 수 있는 경로를 보여주며, 고전적 해석 가능성, 비선형 모델링 유연성, 현대적인 적응성 간의 균형을 제공합니다.;The purpose of this study is to develop a hybrid residual forecasting method that integrates statistical modeling with large language models(LLMs) to improve accuracy and interpretability in time series prediction. Time series forecasting plays an essential role across various domains such as retail, finance, energy, and transportation. Accurate forecasts enable organizations to make informed decisions, allocate resources efficiently, and respond proactively to changes. Even small improvements in accuracy can yield meaningful operational and economic benefits. Traditional models such as the Autoregressive Integrated Moving Average(ARIMA) have long been effective in capturing trends and seasonality; however, their linear assumptions limit performance when data exhibit nonlinear patterns or sudden variations. To overcome this limitation, the Generalized Additive Model(GAM) extends traditional regression by introducing smooth, spline-based functions that flexibly capture nonlinear relationships between predictors and target variables while preserving interpretability. Recently, large language models(LLMs) have been explored for time series forecasting, where their contextual reasoning ability has shown potential benefits across sequential data. To balance interpretability, efficiency, and predictive precision, this study proposes a hybrid residual forecasting method combining classical statistical modeling with GPT-4o, a multimodal LLM. In this approach, ARIMA or a combination of GAM and ARIMA first generates a baseline forecast. ARIMA captures temporal dependence, while GAM models nonlinear effects when external predictors are available. GPT-4o is then applied in a zero-shot, prompt-based configuration to refine the residuals(errors) from the baseline model. This enables GPT-4o to act as a residual corrector, enhancing accuracy without retraining or fine-tuning. To ensure stability and numerical consistency, two robust guardrails were introduced: a Median Absolute Deviation(MAD)-based bound and a baseline-relative ±2\% cap. The method was evaluated on two benchmark datasets: the univariate Air Passengers dataset and the multivariate Walmart Sales dataset. For the Air Passengers data, the hybrid configuration(GAM + ARIMA + GPT-4o) reduced the Mean Absolute Percentage Error(MAPE) from 9.41\% to 9.10\%. For the Walmart dataset, consistent gains were observed in the two-feature and three-feature settings, while the five-feature configuration remained comparable to the baseline. Additionally, residuals were examined using the Ljung–Box test to confirm that no significant autocorrelation remained after correction, ensuring that the hybrid model satisfies statistical reliability alongside accuracy improvements. The findings indicate that LLMs perform best when utilized as residual refiners within structured forecasting systems. The proposed hybrid approach effectively combines the statistical foundation of ARIMA and GAM with the contextual reasoning ability of GPT-4o, achieving stable and interpretable improvements in forecasting accuracy. Overall, this study demonstrates a practical and reliable pathway for integrating language models into quantitative prediction tasks, offering a balance between classical interpretability, nonlinear modeling flexibility, and modern adaptability.