Elektrikli Araç Hızlı Şarj İstasyonlarında Öncelikli Servis için Derin Pekiştirmeli Öğrenme Tabanlı Kaynak Yönetim Modeli ve Uzun-kısa Süreli Bellek ile Ortalama Bekleme Süresi Tahmini

Abstract

Günümüzde elektrikli araçlar içten yanmalı motorlu araçların yerini hızla almaktadır. Kıyaslandığında da elektrikli araçların küresel ısınmaya çok daha az etki etme potansiyeli vardır. Ancak bu olumlu etkisine karşın, elektrikli araçların hızlı şarj istasyonlarında 30 dakika olmak üzere uzun şarj dolum süresine ihtiyacı vardır. Hızlı şarj istasyonlarının sayı ve kapasitelerinin sınırlı olmasıyla birlikte uzun şarj süreleri, istasyonlarda araçların kuyruk uzunluğunu ve bekleme süresini artırmaktadır. Araçların belli bir bölümünün bekleme süresini azaltmak için öncelikli servis veren şarj istasyonları oluşturulabilir. Bunun yanında araç kullanıcıları istasyona varış yaptıklarında şarj olmak için bekleyecekleri ortalama süre hakkında öngörü sahibi olmak isteyebilir. Bu çalışmada iki amaç bulunmaktadır. İlk amaç Derin Q-Öğrenme tabanlı öncelikli servis veren bir şarj istasyonu yönetim modeli geliştirilmesi, ikincisi ise araç kullanıcılarına ortalama bekleme süresi bilgisinin Uzun-Kısa Süreli Bellek yöntemi kullanılarak tahmin edilmesi. Literatür incelendiğinde hızlı şarj hizmetini ele alan çeşitli çalışmalar vardır. Fiyatlandırma, talep dengeleme, istasyon konumlandırma ve kapasite belirleme, bekleme sürelerini azaltmak için şarja kabul edilen araç sayısının kısıtlanması gibi konularda çalışmalar bulunmaktadır. Bu çalışmada elektrikli şarj istasyonuna gelen araçlar düşük ve yüksek öncelikli iki araç sınıfına ayrılmaktadır. Ekspres (öncelikli) şarj istasyonu yönetim modelinin amacı, bu araç sınıflarının ortalama bekleme sürelerinin oranının belirli bir seviyede tutmaktır. İstasyon, hedeflediği görece bekleme süresi oranını belirler ve ilan eder ve hedefini tutturmak için boşalan kaynaktan hizmet alacak öncelik sınıfını gerçek zamanda dinamik olarak değiştirir. Bu değişiklik için Derin Q-Öğrenme tabanlı kaynak kontrol mekanizması geliştirilmiştir ve performansı çeşitli şartlar altında test edilmiştir. Ayrıca geliştirilen yöntemin performansı literatürde bu alandaki Fescioglu-Unver ve diğ. (2021) ve Kakillioglu ve diğ. (2022) çalışmalarıyla kıyaslanmıştır. Sonuçlar incelendiğinde geliştirilen yöntemin hedeflenen bekleme oranını gerçekleştirdiği ve istasyona gelecek ani araç yüklenmeleri karşısında hızlı bir şekilde toparlanabildiği gözlenmiştir. Literatürde elektrikli araçlar ve şarj istasyonları alanında ise bekleme süresi tahmini yapan bir çalışmaya rastlanmamıştır. Bu çalışmada, istasyondan gerçek zamanda veri toplanarak takip eden 5 dakika içinde gelecek araçlar için tahmini bekleme süresi ilan edilmektedir. Tahmin için Uzun-Kısa Süreli Bellek (LSTM) yöntemi kullanılmaktadır. Buna ek olarak, LSTM yönteminin tahmin kalitesi yapay sinir ağı yöntemi de çalışmada uygulanarak karşılaştırılmış ve daha iyi performans gösterdiği görülmüştür.

Today, electric vehicles are rapidly replacing internal combustion engine vehicles. Moreover, electric vehicles have much less potential to contribute to global warming. However, despite this positive impact of electric vehicles, they require much longer charging times, up to 30 minutes at fast charging stations. With the limited number and capacity of fast charging stations, the long charging times increase the queue length and waiting time of vehicles at the stations. Charging stations with priority service can be a solution to reduce the waiting time of a certain portion of the vehicles. In addition, drivers may want to know the average time they will have to wait for charging when they arrive at the station. There are two aims in this thesis. The first objective is to develop a charging station management model with priority service based on Deep Q-Learning, the second objective is to predict the average delay time of electric vehicles using the Long-Short Term Memory method. There are various studies on fast charging service in the literature. There are studies on dynamic pricing of charging, demand balancing, charge station location selection and capacity determination, restricting the number of vehicles accepted for charging to reduce waiting times. In this study, vehicles arriving at the electric charging station are categorized into two vehicle classes as low and high priority. The aim of the express (priority service) charging station management model is to try to keep the ratio of the average delay times of the vehicle classes at a target level. The station determines and announces this target relative delay time ratio. In order to achieve its target rate, the priority class charging from the idle resource is dynamically changed in real time. For this dynamic and real time control, a resource management mechanism based on Deep Q-Learning, a deep reinforcement learning method, is developed. The performance of the method at a single station is tested by simulation under various conditions. In addition, the performance of the developed method is compared with Fescioglu-Unver et al. (2021) and Kakillioglu et al. (2022) the studies about the same subject in the literature. When the results are analyzed, the developed method tracks the target delay rate successfully also the station settles quickly against the impact of instantaneous vehicle impulses. In the literature, there is no study on waiting time prediction in the field of electric vehicles and charging stations. Waiting time estimation studies have mostly been conducted on waiting times in emergency services. In this thesis, Long-Short Term Memory (LSTM) method is used to provide the predicted average waiting time information for both high and low priority vehicles using the data collected from the station real-time. Additionally, the prediction accuracy of the LSTM method was compared by Artificial Neural Network method in the study. As a result, it is found that LSTM has superior performance.