충전 대기시간을 고려한 전기차량의 경로 최적화 문제에서 강화학습 기법의 적용 연구

Abstract

EV는 연료 기반 차량에 비해 저장 용량이 제한적이며 완전히 충전하는 데 긴 시간이 소요된다. EV의 경로를 결정하는데 충전소의 요소를 고려하지 않는 기존 문헌들과는 다르게 충전소의 복잡도 및 대기시간을 고려한 경로 최적화 문제를 강화학습에 적용하는 연구를 하였다. 강화학습을 하기 위해서 최적의 경로를 선택 하는 MDP 모형을 만들고 DQN을 통해서 학습시켰다. 연구를 통해서 충전소의 복잡도가 증가할수록 총 reward가 감소하고 배송하는데 소비되는 비용이 증가하는 것을 알 수 있었다. 충전소에서 대기시간을 고려한 전기차량의 경로 최적화 문제를 강화학습으로 적용했을 때 성능을 평가하기 위해서 현재 위치에서 충전소를 방문할 때 랜덤하게 방문하는 것과, 가장 근거리에 있는 충전소를 선택하는 것과 DQN에서의 Q-value를 이용하여 다음으로 방문할 충전소의 위치를 선택하는 것을 비교해 보았을 때 강화학습을 이용한 경로 최적화 방법이 가장 좋은 성능이 보이는 것을 알 수 있었다.;EVs have limited storage capacity compared to fuel-based vehicles and take a long time to fully charge. This paper is a research that applies the route optimization problem to reinforcement learning considering the complexity of charging station and waiting time in charging station, unlike existing literature that does not consider charging station factors when determining EV routes. Reinforcement learning is expressed by MDP (Markov Decision Process) and evaluated by DQN, which is one of deep reinforcement learning algorithms. Through research, we found that as the charging station complexity increased, the total reward decreased and the cost spent on delivery increased. When applying reinforcement learning to an electric vehicle route optimization problem that considers the waiting time at the charging station to evaluate performance in case of visiting a charging station at the current location, random selection method, short distance selection method and method of selecting using DQN are compared. Among the above three methods, the route optimization method using DQN showed the best performance.