Pekistirmeli ögrenme yöntemleri ile iha baz istasyonu için veri iletim hizi tabanli optimal güzergah belirlenmesi

Abstract

Bu çalışmada, kullanıcılara verilen hizmeti artırmak için İnsansız Hava Aracı (İHA) üzerine bağlı baz istasyonu (Bİ) ile optimal güzergâh planlaması yapılmıştır. Çalışma iki parçada incelenmiştir: İlk çalışmada İHABİ, 3-boyutta hareket kabiliyeti ile farklı hizmet kalitesi gereksinimlerine sahip hareketsiz kullanıcılara hizmet etmektedir. Güzergâh planlaması yapılırken İHABİ'nin kapsama alanı ve İHABİ ile statik yer baz istasyonu arasındaki ana ağa iletim kapasitesi sınırlandırılmıştır. Bu kısıtlamalar altında amaç, İHABİ için pekiştirmeli öğrenme (ing. Reinforcement Learning, RL) kullanılarak uçuş sırasında kullanıcılara sağlanan toplam veri hızını en üst düzeye çıkaran bir güzergâh bulmaktır. Problemimizde Q-Öğrenme (ing. Q-Learning, QL) uygulaması ile İHABİ, istenilen amaca ulaşmak için doğru aksiyonları almayı öğrenmektedir. Farklı öğrenme parametreleri ile deneme yanılma süreçleri sonucunda uygun parametreler belirlenmiş ve RL modeli bu parametrelerle eğitilmiştir. Kısıtlamaların etkilerini analiz etmek için farklı iletişim senaryoları karşılaştırılmıştır. Bahsedilen kısıtların ve heterojen hizmet kalitesi taleplerinin etkilerine göre İHABİ'nin güzergâh tercihleri ve toplam iletim hızı değişimleri incelenmiştir. Öne çıkan üç sonuç, kapsama, ana ağa iletim ve heterojen hizmet kalitesinin etkilerini göstermiştir. İHABİ, kapsama alanı kısıtlaması arttıkça irtifasını artırma eğilimindedir. Ayrıca, ana ağa iletim kısıtlaması, İHABİ'nin yörüngesini statik yer baz istasyonuna yaklaştırmaya zorlamaktadır. Son olarak İHABİ, kullanıcıların farklı hizmet kalitesi gereksinimlerini mümkün olduğunca dikkate almaktadır. İHABİ, bu kısıtlamaları karşılamak için en uygun güzergâhı belirleyerek toplam iletim hızını maksimize etmektedir. Çalışmanın ikinci kısmında İHABİ, sabit yükseklikte harekete ederek hareketli kullanıcılara hizmet sağlamaktadır. Kullanıcılar belirli bir örüntüyü takip ederek hareketini gerçekleştirmektedir. Bu koşullar altında İHABİ için minimumun maksimizasyonu ve maksimizasyon problemleri ele alınarak, ilgili problem için İHABİ'ye uygun güzergâh aranmaktadır. Problemimizde değişen ağ topolojisi sebebiyle Derin Q-Öğrenmesi (ing. Deep Q-Learning, DQN) algoritmasından yararlanılmıştır. Simülasyon sonuçları, minimumun maksimizasyonu probleminde İHABİ'nin kullanıcılara olan mesafesini dengeleyerek adil bir hizmet sağlamaya çalıştığını, maksimizasyon probleminde ise İHABİ'nin kullanıcıların fazla olduğu yerlere uğrayarak toplam hizmet miktarını maksimize etmeye çalıştığını göstermektedir.

In this study, optimal trajectory planning is made with the base station (BS) connected to the Unmanned Aerial Vehicle (UAV) in order to increase the service provided to the users. The study is analyzed in two parts: In the first part of the study, UAV-BS serves immobile users with different quality of service (QoS) requirements with its 3-dimensional mobility. While planning the trajectory, the coverage area of UAV-BS and the backhaul capacity between UAV-BS and the Ground Base Station (GBS) are limited. Under these constraints, the goal is to find a trajectory for the UAV-BS that maximizes the total data rate available to users during the flight using reinforcement learning. UAV-BS learns to take the right actions to achieve the desired goal using Q-Learning algorithm in our problem. As a result of trial and error processes with different learning parameters, appropriate parameters are determined and the reinforcement learning model is trained with these parameters. Different communication scenarios are compared to analyze the effects of constraints. Trajectory preferences and total transmission rate changes of UAV-BS are examined according to the effects of the mentioned constraints and heterogeneous QoS demands. Three prominent results demonstrate the effects of coverage, backhaul, and heterogeneous QoS. The UAV-BS tends to increase in altitude as the coverage increases. In addition, the backhaul constraint forces the trajectory of the UAV-BS to approach the GBS. Finally, UAV-BS takes into account the different QoS requirements of users as much as possible. UAV-BS maximizes the total transmission rate by determining the most suitable trajectory to meet these constraints. In the second part of the study, UAV-BS provides services to mobile users by moving at a fixed altitude. Users perform their movement by following a certain pattern. Under these conditions, the maximization of the minimum and maximization problems for UAV-BS are handled, and a suitable trajectory for UAV-BS is sought for the related problem. Deep Q-Learning algorithm is used in our problem due to the changing network topology. The simulation results show that in the maximizing of minimum problem, UAV-BS tries to provide a fair service by balancing its distance to the users, and in the maximization problem, UAV-BS tries to maximize the total amount of service by visiting the places where the number of users are high.