Yüz ifadelerinin duygusal olarak değişikliğe uğratılıp üç boyutlu yüz canlandırması üretilmesi ve sistemin imge eşleme ile geliştirilmesi

Abstract

In this thesis study, a three-dimensional virtual facial expression animation system is presented. The proposed system produces facial animation on a three-dimensional head model that is supplied to the system. The animation is driven by an existing performance data based on marker positions. The generated animation includes facial expressions, eye and eyelid movements, and head’s translation and rotation movements. The proposed system enables user to modify the facial expressions emotionally while generating a facial animation. The produced animation is allowed to be generated in neutral, angry, astonished, sad, sleepy, and happy emotional states. This way, the system facilitates the user to produce different facial animation from one facial motion capture data. During the thesis study, a novel object matching method is developed. Object matching is a major problem studied in computer vision. The proposed method solves the object matching problem by reformulating it to a graph matching problem. The proposed method first embeds two graphs to l1 norm for generating point distributions. Then the similarity value between the two distributions is calculated by the Earth Mover’s Distance algorithm. Furthermore, design of the structure of a hybrid system is proposed in this thesis study. The proposed hybrid method is a composition of the developed facial animation system and the object matching method. Performance analysis of the facial expression animation system and the object matching method is presented in the end.

Bu tez çalışmasında, üç boyutlu bir sanal yüz ifadesi canlandırma sistemi tanıtılmıştır. Önerilen sistem, işaretçi tabanlı olarak elde mevcut bulunan performans bilgisinden faydalanarak, sisteme sağlanan üç boyutlu sanal kafa modeli üzerinde yüz ifadelerinin canlandırmasını oluşturmaktadır. Oluşturulan canlandırma yüz ifadeleri, göz ve göz kapağı hareketleri, kafanın konum değiştirme ve dönme hareketlerinden oluşmaktadır. Geliştirilen sistemde, canlandırmanın oluşturulması sırasında kullanılan yüz ifadelerinin duygusal olarak değiştirilmesine olanak sağlanmaktadır. Oluşturulan canlandırmaya sinirli olma, şaşırma, üzgün olma, uykulu olma ya da mutlu olma halleri eklenerek, bir performans verisinden farklı yüz canlandırmaları elde edilebilmektedir. Çalışma sırasında bir de nesne eşleme yöntemi geliştirilmiştir. Nesne eşleme, görüntü işleme alanındaki temel problemlerdendir. Geliştirilen yöntem ile nesne eşleme problemi çizge eşleme problemine dönüştürülerek çözülmektedir. Önerilen yöntemde, aralarında eşleme bulunacak olan çizgelerin l1 normuna gömülmesi ile oluşan iki dağılım arasında Toprak Taşıyıcı Mesafesi algoritması kullanılarak benzerlik değeri bulunmaktadır. Geliştirilen sistemin ve nesne eşleme yönteminin başarım sonuçları tezde sunulmuştur. Bu tez çalışmasında ayrıca, geliştirilen yüz ifadesi canlandırma sistemi ve nesne eşleme yönteminin birlikte kullanılmasıyla oluşturulacak bir sistemin tasarımı önerilmiştir.