Please use this identifier to cite or link to this item: https://hdl.handle.net/20.500.11851/10631
Full metadata record
DC FieldValueLanguage
dc.contributor.advisorDemirtaş, Ali Murat-
dc.contributor.authorSazak, Melih Doğanay-
dc.date.accessioned2023-08-20T19:42:37Z-
dc.date.available2023-08-20T19:42:37Z-
dc.date.issued2022-
dc.identifier.urihttps://tez.yok.gov.tr/UlusalTezMerkezi/TezGoster?key=G_oJ1rKE4SgJUkomyAKpRwZMnMBK14adt2-cI-kYWcQwMKIAJdrP3_TzzoyLkw44-
dc.identifier.urihttps://hdl.handle.net/20.500.11851/10631-
dc.description.abstractBu çalışmada, kullanıcılara verilen hizmeti artırmak için İnsansız Hava Aracı (İHA) üzerine bağlı baz istasyonu (Bİ) ile optimal güzergâh planlaması yapılmıştır. Çalışma iki parçada incelenmiştir: İlk çalışmada İHABİ, 3-boyutta hareket kabiliyeti ile farklı hizmet kalitesi gereksinimlerine sahip hareketsiz kullanıcılara hizmet etmektedir. Güzergâh planlaması yapılırken İHABİ'nin kapsama alanı ve İHABİ ile statik yer baz istasyonu arasındaki ana ağa iletim kapasitesi sınırlandırılmıştır. Bu kısıtlamalar altında amaç, İHABİ için pekiştirmeli öğrenme (ing. Reinforcement Learning, RL) kullanılarak uçuş sırasında kullanıcılara sağlanan toplam veri hızını en üst düzeye çıkaran bir güzergâh bulmaktır. Problemimizde Q-Öğrenme (ing. Q-Learning, QL) uygulaması ile İHABİ, istenilen amaca ulaşmak için doğru aksiyonları almayı öğrenmektedir. Farklı öğrenme parametreleri ile deneme yanılma süreçleri sonucunda uygun parametreler belirlenmiş ve RL modeli bu parametrelerle eğitilmiştir. Kısıtlamaların etkilerini analiz etmek için farklı iletişim senaryoları karşılaştırılmıştır. Bahsedilen kısıtların ve heterojen hizmet kalitesi taleplerinin etkilerine göre İHABİ'nin güzergâh tercihleri ve toplam iletim hızı değişimleri incelenmiştir. Öne çıkan üç sonuç, kapsama, ana ağa iletim ve heterojen hizmet kalitesinin etkilerini göstermiştir. İHABİ, kapsama alanı kısıtlaması arttıkça irtifasını artırma eğilimindedir. Ayrıca, ana ağa iletim kısıtlaması, İHABİ'nin yörüngesini statik yer baz istasyonuna yaklaştırmaya zorlamaktadır. Son olarak İHABİ, kullanıcıların farklı hizmet kalitesi gereksinimlerini mümkün olduğunca dikkate almaktadır. İHABİ, bu kısıtlamaları karşılamak için en uygun güzergâhı belirleyerek toplam iletim hızını maksimize etmektedir. Çalışmanın ikinci kısmında İHABİ, sabit yükseklikte harekete ederek hareketli kullanıcılara hizmet sağlamaktadır. Kullanıcılar belirli bir örüntüyü takip ederek hareketini gerçekleştirmektedir. Bu koşullar altında İHABİ için minimumun maksimizasyonu ve maksimizasyon problemleri ele alınarak, ilgili problem için İHABİ'ye uygun güzergâh aranmaktadır. Problemimizde değişen ağ topolojisi sebebiyle Derin Q-Öğrenmesi (ing. Deep Q-Learning, DQN) algoritmasından yararlanılmıştır. Simülasyon sonuçları, minimumun maksimizasyonu probleminde İHABİ'nin kullanıcılara olan mesafesini dengeleyerek adil bir hizmet sağlamaya çalıştığını, maksimizasyon probleminde ise İHABİ'nin kullanıcıların fazla olduğu yerlere uğrayarak toplam hizmet miktarını maksimize etmeye çalıştığını göstermektedir.en_US
dc.description.abstractIn this study, optimal trajectory planning is made with the base station (BS) connected to the Unmanned Aerial Vehicle (UAV) in order to increase the service provided to the users. The study is analyzed in two parts: In the first part of the study, UAV-BS serves immobile users with different quality of service (QoS) requirements with its 3-dimensional mobility. While planning the trajectory, the coverage area of UAV-BS and the backhaul capacity between UAV-BS and the Ground Base Station (GBS) are limited. Under these constraints, the goal is to find a trajectory for the UAV-BS that maximizes the total data rate available to users during the flight using reinforcement learning. UAV-BS learns to take the right actions to achieve the desired goal using Q-Learning algorithm in our problem. As a result of trial and error processes with different learning parameters, appropriate parameters are determined and the reinforcement learning model is trained with these parameters. Different communication scenarios are compared to analyze the effects of constraints. Trajectory preferences and total transmission rate changes of UAV-BS are examined according to the effects of the mentioned constraints and heterogeneous QoS demands. Three prominent results demonstrate the effects of coverage, backhaul, and heterogeneous QoS. The UAV-BS tends to increase in altitude as the coverage increases. In addition, the backhaul constraint forces the trajectory of the UAV-BS to approach the GBS. Finally, UAV-BS takes into account the different QoS requirements of users as much as possible. UAV-BS maximizes the total transmission rate by determining the most suitable trajectory to meet these constraints. In the second part of the study, UAV-BS provides services to mobile users by moving at a fixed altitude. Users perform their movement by following a certain pattern. Under these conditions, the maximization of the minimum and maximization problems for UAV-BS are handled, and a suitable trajectory for UAV-BS is sought for the related problem. Deep Q-Learning algorithm is used in our problem due to the changing network topology. The simulation results show that in the maximizing of minimum problem, UAV-BS tries to provide a fair service by balancing its distance to the users, and in the maximization problem, UAV-BS tries to maximize the total amount of service by visiting the places where the number of users are high.en_US
dc.language.isotren_US
dc.publisherTOBB ETÜen_US
dc.rightsinfo:eu-repo/semantics/openAccessen_US
dc.subjectElektrik ve Elektronik Mühendisliğien_US
dc.subjectElectrical and Electronics Engineeringen_US
dc.titlePekistirmeli Ögrenme Yöntemleri ile İha Baz İstasyonu için Veri İletim Hizi Tabanli Optimal Güzergah Belirlenmesien_US
dc.title.alternativeData Transmission Rate Based Optimal Trajectory Determination for Uav Base Station Using Reinforcement Learning Methodsen_US
dc.typeMaster Thesisen_US
dc.departmentEnstitüler, Fen Bilimleri Enstitüsü, Elektrik ve Elektronik Mühendisliği Ana Bilim Dalıen_US
dc.departmentInstitutes, Graduate School of Engineering and Science, Electrical and Electronics Engineering Graduate Programsen_US
dc.identifier.startpage1en_US
dc.identifier.endpage81en_US
dc.institutionauthorSazak, Melih Doğanay-
dc.relation.publicationcategoryTezen_US
dc.identifier.yoktezid791838en_US
item.openairetypeMaster Thesis-
item.languageiso639-1tr-
item.grantfulltextopen-
item.fulltextWith Fulltext-
item.openairecristypehttp://purl.org/coar/resource_type/c_18cf-
item.cerifentitytypePublications-
Appears in Collections:Elektrik-Elektronik Mühendisliği Yüksek Lisans Tezleri / Electrical & Electronics Engineering Master Theses
Files in This Item:
File SizeFormat 
791838.pdf3.09 MBAdobe PDFView/Open
Show simple item record



CORE Recommender

Page view(s)

150
checked on Dec 23, 2024

Download(s)

12
checked on Dec 23, 2024

Google ScholarTM

Check





Items in GCRIS Repository are protected by copyright, with all rights reserved, unless otherwise indicated.