Panoramik X-ray diş görüntülerinde diş bölgesinin ve dişlerin makine öğrenimi ve derin öğrenme ile bölütlenmesi

Abstract

Panoramik X-Ray diş görüntülerinden dişlerin olduğu bölgenin ve dişleri bölütlenmesi, çeşitli hastalıkların belirlenmesi için önemli hale gelmiş bulunmaktadır. Özellikle son dönemde gelişen teknoloji ile birlikte çalışmalara dahil olmaya başlayan Yapay Zeka (AI) temelli yapılar, hem dişlerin tespiti ve bölütlenmesi sürecini kısaltmayı hem de diş hekimlerine karar destek yapıları oluşturarak yanlış teşhisi ortadan kaldırmayı amaçlamaktadır. Ham görüntülerdeki diş olmayan piksellerin diş olan piksellere göre fazla olması ve görüntülerdeki kontrast ve renk seviyesinin bölgesel olarak farklılık göstermemesi görüntü işlemeyi zorlaştırmaktadır. Bu tezin amacı, panoramik x-ray görüntülerindeki dişlerin olduğu bölgeyi ve dişleri otomatik olarak bölütleyebilmektir. İlk olarak, görüntülerin boyutlarını hem her görüntü için sabit olması hem de işlemsel olarak hızlı sonuçlar almak için düşürerek alt-örnekleme yapılmıştır. Sonraki aşamada, görüntülerdeki diş alanının merkez noktası otomatik olarak belirlenmiştir. Daha sonra piksellerin yeğinlik değerleri, bulunan merkez noktasına göre x koordinatı, bulunan merkez noktasına göre y koordinatı ve 3x3 penceresinde maksimum ve minimum değerlerin çıkarılmasıyla elde edilen öznitelikler kullanılarak diş bölgesinin bölütlenmesi gerçekleştirilmiştir. Bunun için bir Makine Öğrenme (ML) algoritması olan CatBoost algoritması kullanılmıştır. Makine Öğrenme (ML) modeli oluşturulurken, veri setinin ezberlenmesini önlemek için eğitim veri setinin k-kat çapraz doğrulaması ve hiper parametrelerin ızgara arama optimizasyonu yöntemleri uygulanmıştır. Diş bölgesini tam olarak bölütleyebilmek için makine öğrenmesi modelinden elde edilen her sonucun üzerinde ağız bölgesinin deforme olabilen şekiller uydurulmuştur. Bu sayede diş bölgesi içinde bulunmayan piksellerden kurtulunmuş ve diş bölgesi bölütlemesi yapılmıştır. Diş bölgesini bölütledikten sonra Derin Öğrenme (DL) modeli oluşturulup bu modele sadece bölütlenen diş bölgeleri giriş olarak verilmiştir. Model içinde karalılığı sağlamak ve işlem hızını arttırmak amacıyla elde edilen bölütlenmiş diş bölgeleri görüntülerinin boyutları düşürülerek alt-örnekleme yapılmıştır. Derin Öğrenme (DL) sonucunda her görüntü üzerinde dişlere ait olan bir pencere elde edilmiştir. Her pencere içindeki dişlerin tam bölütlenmesi için Tony F. Chan ve Luminita Vese (Chan-Vese) algoritması uygulanmıştır. Bu sayede pencereler dişlerin şeklinde küçültülmüş ve bölütmele işlemi yapılmıştır. Sonuçlar, Makine Öğrenmesi (ML) ve Derin Öğrenme (DL) için öğrenme eğrisi; dişlere ait olan piksellerin doğruluğunu ölçmek için F1, doğruluk, hatırlama ve kesinlik skorları kullanılarak analiz edilmiştir.

Segmentation of the region of the teeth and segmentation of the teeth from the dental panoramic X-Ray images have become important tasks in determining various diseases. Artificial Intelligence (AI) based structures, which have started to be included in the studies with the technology that has developed recently, aim to both shorten the process of detection and segmentation of the teeth and eliminate the misdiagnosis by creating decision support structures for the dentists. It becomes difficult to process images because the number of non-tooth pixels is higher than the number of tooth pixels, and the contrast and color level in the images do not differ regionally. The main goal of this thesis is to be able to automatically segment the region of the teeth and the teeth in panoramic X-Ray images. Firstly, down-sampling was done by reducing the size of the images both to be fixed for each image and to obtain fast results in terms of computational process. In the next stage, the center point of the tooth area in the images is determined automatically. Segmentation of the region of the teeth was performed by using obtained feature set. The feature set includes intensity values of pixels, x-coordinate relative to the center point of the tooth area, y-coordinate relative to the center point of the tooth area, and the pixel values obtained by subtraction of maximum and minimum values in 3x3 window. CatBoost algorithm was used for Machine Learning (ML). While making the Machine Learning (ML) model, k-fold cross-validation and grid search optimization of hyper parameters methods were applied to prevent over-fitting of the data set. In order to fully segment the tooth region, the deform-able shapes of the mouth region are fit on each result obtained from the machine learning model. In this way, the pixels that are not in the tooth region are eliminated and the tooth region is segregated. After segmentation of the tooth region, the Deep Learning (DL) model was made and only the tooth regions that were segmented were given as an input to this model. In order to ensure the stability in the model and increase the processing speed, the down-sampling was performed by reducing the size of the segmented tooth regions obtained. As a result of Deep Learning (DL), a window belonging to the teeth was obtained on each image. Tony F. Chan and Luminita Vese (Chan-Vese) algorithm applied for the complete segmentation of the teeth in each window. In this way, the windows were reduced in the shape of the teeth and segmentation was done. The results was analyzed by using learning curve for Machine Learning (ML) and Deep Learning (DL) and by looking F1, accuracy, recall, and precision scores.