A Learning-Based Optimal Charging Discharging Strategy for Electric Vehicles Under Vehicle-to-Grid Scheme

Abstract

Recent advances in electric vehicles (EV) technologies have raised the significance of vehicle-to-grid (V2G) schemes in the smart grid domain, which allows bidirectional flows of energy and information between consumers and suppliers. In the V2G scheme, each vehicle is viewed as a potential energy storage system (ESS) that can provide surplus energy to the grid. V2G is deemed especially useful in reducing the peak demand and load shifting of utilities by working as a backup system for renewable energy. Thus, it is essential to intelligently manage charging and discharging according to electricity prices and users’ needs. On the one hand, users may take full advantage of prices when participating in the V2G demand response program. However, uncertainties such as user’s commuting behavior, charging preference, and energy needs make it challenging to determine the optimal charging strategy. This paper formulates the individual EV charging problem as a Markov Decision Process (MDP) without a defined transition probability. A model-free reinforcement learning (RL) approach is proposed to learn the optimal sequential charging decisions until the EV battery reaches its end of life. The objective is to minimize user’s charging cost and maximize the use of EV battery as the vehicle goes through various charging/discharging cycles, while also taking into account the distances traveled by the vehicle. The performance of the proposed algorithm is evaluated with real-world data, and the learned charging/discharging strategy is examined to investigate the effectiveness of the proposed method.;최근 전기차 (EV) 기술의 발전과 더불어 소비자와 공급자 간에 에너지와 정보의 양방향 소통을 가능하게 하는 스마트 그리드 기술이 주목을 받고 있다. 스마트 그리드에 적용될 수 있는 Vehicle-to-Grid (V2G)에서는 전기차를 그리드에 잉여 에너지를 제공할 수 있는 일종의 에너지 저장 시스템(ESS)으로 활용한다. V2G 는 특히 재생에너지원의 백업 시스템으로서 전망이 있으며 그리드의 최대 수요와 부하 이동을 조절할 때 유용하게 활용될 수 있다. 이러한 장점을 최대한 활용하기 위해서는 전기 요금과 사용자의 필요에 따라 충전과 방전을 효율적으로 관리해야 할 필요성이 있다. V2G에 참여하는 소비자들은 한편으로는 충전 결정 시 가격을 최대한 활용할 수 있지만, 사용자의 통근 양상, 충전 선호도 및 에너지 요구와 같은 불확실성으로 인해 최적의 충전 전략의 수립이 어렵다는 한계점이 있다. 이 논문은 개별의 전기차 충전 문제를 마르코프 의사 결정 프로세스(MDP)로 정의하여 풀고자 하였다. 본 연구에서는 전기차의 배터리가 수명이 다할 때까지의 순차적인 충/방전 결정을 학습하기 위해 model-free 강화학습 기법을 제안하였다. 이는 다양한 충/방전 사이클을 거치면서 사용자의 충전 비용을 최소화하고 EV 배터리 사용을 극대화하는 동시에 차량이 주행하는 거리도 고려하는 것에 의의가 있다. 학습된 알고리즘의 성능은 실제 한국의 전기 가격 데이터로 평가하였고, 도출된 충/방전 전략을 시각화 하여 살펴보았다. 또한, 여러 실험 환경에서 두 가지의 모델과의 비교를 통해 제안된 방법론의 효과를 입증하고자 하였다.