Please use this identifier to cite or link to this item: https://hdl.handle.net/20.500.11851/10582
Full metadata record
DC FieldValueLanguage
dc.contributor.advisorKutlu, Mücahid-
dc.contributor.authorZengin, Muhammed Said-
dc.date.accessioned2023-08-20T19:42:27Z-
dc.date.available2023-08-20T19:42:27Z-
dc.date.issued2022-
dc.identifier.urihttps://tez.yok.gov.tr/UlusalTezMerkezi/TezGoster?key=RsTBl6RWK25OBMIKtIgYYaEOlQc7_woO7U_oVzBpk90EV8RUvZXg_OuX38f9JpI4-
dc.identifier.urihttps://hdl.handle.net/20.500.11851/10582-
dc.description.abstractGeleneksel yöntemlerle metinden öznitelik çıkarmak ve bir doğal dil işleme görevini yerine getirmek mümkündür, fakat kısıtlı miktardaki etiketli veriyle cümle yapısı ve kelime vektörleri yeterince öğrenilmediği için model performansı kısıtlı kalmaktadır. Bu sebeple son yıllarda araştırmacılar önceden eğitilmiş dil modellerine hassas ayar yapmayı, geleneksel yöntemlere göre daha çok tercih etmektedir. Büyük miktarda veriyle hazırlanan önceden eğitilmiş dönüştürücü dil modelini kullanarak belirli bir görev üzerinde hassas ayar yapmak birçok doğal dil işleme görevinde en yüksek performansı vermektedir. Etiketli veri hazırlamak maliyetli bir işlem olduğu ve etiketli veri sınırlı bir kaynak olduğu için araştırmacılar az veri kullanarak daha iyi sonuç alma yöntemlerini incelemektedir. Bu sebeple veri arttırma yöntemleri olarak aktif öğrenme ve zayıf denetim yolları kullanılmıştır. Aynı zamanda yarı denetimli ve denetimsiz yöntemler de üzerinde çalışılan araştırma konuları olmuştur. Bu tezin kapsamı ise, kısıtlı miktardaki etiketli veri kullanılarak, dönüştürücü dil modellerine en etkili hassas ayar yapma yöntemini araştırmaktır. Etkili hassas ayar yapmak için çapraz dilli eğitim, zayıf denetim, geri çeviri, aşırı örnekleme, aktif öğrenme gibi veri mühendisliği yöntemleri kullanılmıştır. Bu tez kapsamında incelenen konu üç farklı doğal dil işleme görevi üzerinde incelenmiştir. Bu görevler, kontrole değer iddiaların tespiti, taraf tespiti ve konum tespitidir.en_US
dc.description.abstractIt is possible to extract features from the text and perform a natural language processing task with traditional methods, but the model performance is limited because the sentence structure and word vectors are not learned enough with the limited amount of labeled data. For this reason, in recent years, researchers prefer to fine-tune pre-trained language models more than traditional methods. Fine-tuning a particular task using a pre-trained transformers language model prepared with large amounts of data yields state of the art results in many natural language processing tasks. Because preparing labeled data is a costly process and labeled data is a limited resource, researchers are examining ways to get better results using less data. For this reason, active learning and weak supervision methods were used as data augmentation methods. At the same time, semi-supervised and unsupervised methods have also been studied research topics. The scope of this thesis is to investigate the most effective fine-tuning method for transformers language models using a limited amount of labeled data. Data engineering methods such as cross-language training, weak supervision, back translation, oversampling, active learning have been used for effective fine-tuning. The subject examined in this thesis is detailed on three different natural language processing tasks. These tasks are detecting check-worthy claims, stance detection, and geolocation detection.en_US
dc.language.isotren_US
dc.publisherTOBB ETÜen_US
dc.rightsinfo:eu-repo/semantics/openAccessen_US
dc.subjectBilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolen_US
dc.subjectComputer Engineering and Computer Science and Controlen_US
dc.subjectDoğal dil işlemeen_US
dc.subjectNatural language processingen_US
dc.titleDönüstürücü Dil Modellerine Etkili Hassas Ayar Yapmak için Veri Mühendisligi Yöntemlerien_US
dc.title.alternativeData engineering methods for effective fine tuning transformers language modelsen_US
dc.typeMaster Thesisen_US
dc.departmentEnstitüler, Fen Bilimleri Enstitüsü, Bilgisayar Mühendisliği Ana Bilim Dalıen_US
dc.departmentInstitutes, Graduate School of Engineering and Science, Computer Engineering Graduate Programsen_US
dc.identifier.startpage1en_US
dc.identifier.endpage64en_US
dc.institutionauthorZengin, Muhammed Said-
dc.relation.publicationcategoryTezen_US
dc.identifier.yoktezid752523en_US
item.openairetypeMaster Thesis-
item.languageiso639-1tr-
item.grantfulltextopen-
item.fulltextWith Fulltext-
item.openairecristypehttp://purl.org/coar/resource_type/c_18cf-
item.cerifentitytypePublications-
Appears in Collections:Bilgisayar Mühendisliği Yüksek Lisans Tezleri / Computer Engineering Master Theses
Files in This Item:
File SizeFormat 
752523.pdf3.48 MBAdobe PDFView/Open
Show simple item record



CORE Recommender

Page view(s)

122
checked on Dec 23, 2024

Download(s)

46
checked on Dec 23, 2024

Google ScholarTM

Check





Items in GCRIS Repository are protected by copyright, with all rights reserved, unless otherwise indicated.