Çok katmanlı küresel derinlik parametreleri ve derin öğrenme yöntemleri ile 3B şekil tamamlama ve üretme

Abstract

Yapay sinir ağları ile 3B geometri üretimi uzun süredir üzerine çalışılan bir konudur. Yapay sinir ağları, yapıları gereği verileri kendilerine özgü formatlarda kabul etmekte olduğundan, 3B geometri verisi bu formatlarda temsil edilmek suretiyle yapay sinir ağlarına sağlanmalıdır. İki boyutlu evrişimsel sinir ağının tek veya üç boyutlu veri kabul etmeyişi bu duruma bir örnektir. Fakat, 3B veriler genelde nokta bulutu ve poligon ağı gibi tek boyutta sıralı, düzensiz ve anlamlandırılması zor formatlarda tutulduğu için ilgili verinin yapay sinir ağınca anlamlandırılabilir bir formata dönüştürülmesi gerekir. Bunu yaparken hem 3B şeklin özelliklerinin tümü veya çoğu korunmalı hem de verimli yaklaşımlar kullanılmalıdır, çünkü 3B veriler oldukça çok sayıda öznitelik içermektedir. Polinomyal anlamda derece değişimi, hem öğrenme süresini hem de test süresini büyük ölçüde düşürecektir. \\ Bu çalışmanın ilk iki kısmında, evrişimsel yapay sinir ağlarıyla ve çok katmanlı küresel derinlik parametreleri kullanılarak 3B şeklin eksik kısmının küresel derinlik uzayında tamamlaması yapılmış, elde edilen sonuç ise üç boyutlu uzaya dönüştürülmüştür. Çok katmanlı küresel derinlik parametreleri işleme O(n^2) zaman karmaşasına sahip olup, O(n^3) zaman karmaşasına sahip olan doluluk haritası gibi klasik yaklaşımlara nazaran çok daha verimli ve yüksek performanslı bir yöntemdir. Burada n terimi, öznitelik verisinin eksen başına aldığı örnekleme sayısıdır. 2B bir nxn görselde n^2 olası örnek bulunurken nxnxn boyutlara sahip bir doluluk haritasında n^3 olası örnek bulunur. Örnek sayısı, olası sayıdan az olabilir, bazı pikseller ve vokseller boş olabilir. Yöntemimiz O(n^2)'lik "state of the art" yaklaşımlarla da kıyaslanabilir bir yöntemdir. Tamamlama işlemi 2B küresel derinlik görselleri üzerinden sürdürüleceği için kullanılacak olan yöntemler de yine 2B görüntü tamamlamada kullanılan yöntemler olacaktır. Evrişimsel sinir ağı modeli olarak regresyon yapan U-Net tabanlı tek bir evrişimsel sinir ağı kullanılmıştır. Elde edilen sonuçlar, ustalık derecesinde bir çalışmanın aynı örneklerle çalıştığında elde edilen sonuçlarla detaylı bir şekilde karşılaştırılıp sonuçlar analiz edilmiştir. Çalışmanın ikinci kısmında ise çok katmanlı küresel derinlik parametreleri dörtlü ağaca (quad tree) bölünüp yalnızca her katmandaki yaprak boğumlar evrişim işlemine tâbi tutulmuştur. Bu şekilde, evrişim işlemi detay gerektiren bölgelere daha çok sayıda uygulanırken detay gerektirmeyen yerlere az sayıda uygulanmıştır. Şekil tamamlama işlemi de bu çerçevede optimize edilmiştir. Çalışmanın üçüncü kısmında ise koşullu çekişmeli üretken ağlar kullanılarak rastgele küresel derinlik görselleri üretilmiş, üretilen rastgele görseller öğrenilen sınıflara ait rastgele ve özgün şekiller oluşturmuştur.

3D geometry generation with artificial neural networks has been a topic worked on for a long time. Because the artificial neural networks accept their inputs in specific formats, 3D geometry information has to be in the related formats before passing them as a parameter to the artificial neural networks. A two dimensional convolutional neural network does not accept input in one or three dimensions, which is an example to that case. However, because the 3D geometry information is stored in point clouds and polygon meshes most of the time which are stored in one dimension in an irregular way, the data has to be converted to a format which is meaningful to a neural network. This conversion must preserve most or all of the information the 3D geometry contains and it has to be optimal in terms of memory/time complexity because 3D geometry information contains a lot of features. Decrease in the polynomial degree decreases both the learning time and the testing time of the neural network drastically. \\ In the first two chapters of this work, completion of missing parts of the 3D shape is done using Multilayer Spherical Depth Parameters with convolutional neural networks, and the resulting images is converted to the 3D space. Processing time complecity of the multilayer spherical depth parameters is O(n^2), which is a lot efficient and having better performance than the traditional O(n^3) time complexity approaches like 3D occupancy maps. Here the n term implies the number of possible samples in each of the axes. In an nxnxn voxel map there are n^3 possible samples while in a 2D nxn image, there are n^2 possible samples. Number of samples can be different than the number of possible samples. Some of the pixels and voxels may not store information. Our method is also comparable to the O(n^2) state of the art approaches. Because the inpainting will take place in 2D image space, the methods going to be used will be 2D image processing and computer vision techniques. Multilayer spherical depth parameters were inpainted with a U-Net based regression network. The results of that approach were also analyzed and compared to a state of the art 3D shape inpainting approach. In the second chapter, multilayer spherical depth parameters were divided into an octree and the convolution operations were applied on that octree representation to reduce the number of operations by eliminating unnecessary details. This way, the inpainting operation has been optimized. In the third and the last chapter, spherical depth parameters were generated by a conditional generative adversarial network and this way, authentic samples of the learned classes has been generated.