Mapreduce kullanarak RDFS üzerinde dağıtık çıkarsama

Abstract

Günümüzde teknoloji çağında büyük veriler üzerinde işlemlerin gerçekleştirilebilmesi gerekmektedir. Bu verilerin ölçeklenebilir bir şekilde gerçekleştirilebilmesi için en önemli çözüm yolu dağıtık ve paralel hesaplama yöntemidir. MapReduce, büyük veri kümeleri üzerinde ve çok sayıda bilgisayarı birlikte kullanarak gerekli işlemleri dağıtık ve paralel olarak gerçekleştiren bir programlama modelidir. Öte yandan RDFS veri kümelerinin dosya boyutu ve karmaşıklığı giderek artmaktadır. Bu da RDFS çıkarsama işlemlerinde performans sıkıntılarına neden olmaktadır. Bunun çözümü için büyük veri çözümleri kullanılabilir. RDFS çıkarsama sonucu oluşan çıktılar başka bir çıkarsama işlemi için girdi olabilir böylece eldeki büyük veriler için çıkarsama yapılırken veriler giderek büyür. Bu çalışmada Hadoop üzerinde kullanılan paralel ve dağıtık çalıştırma teknolojileri MapReduce, Hive ve Pig kullanarak dağıtık RDFS çıkarsama işlemi gerçekleştirip, performanslarını gözlemleyeceğiz. Ayrıca doküman indeksleme yöntemi kullanarak performans artışı sağlamayı amaçlamaktayız. Bunun içinde MapReduce ve indeksleme yaklaşımları kullanılarak efektif ve dikkate değer bir şekilde çıkarsama işleminin gerçekleştirebileceği gösterilmektedir. Deneysel çalışmalar Dbpedia ve Freebase veri kümeleri üzerinde gerçekleştirilmiştir.

We live in big data age in which many computational tasks either generate or need to use large datasets. This makes parallel and distributed computing a key for scalability. MapReduce is a programming model for processing large datasets in parallel and distributed fashion on cluster of computers. Today, since the size and complexity of RDFS documents increase rapidly, RDFS reasoning problem has to embrace and address the big data solutions. The output of RDFS reasoning job can be input to another job and the output of RDFS reasoning jobs grow big as the input documents gets bigger. In this study, MapReduce programming model, in particular Hadoop with related core technology like Hive and Pig, is used for improving the performance of distributed RDFS reasoning. Additionally, document indexing is used for further performance gain. The study shows that both of the MapReduce and indexing approaches are quite effective and offer significant performance improvements and scalable solutions. Experimental evaluations on two RDFS datasets, namely Dbpedia and Freebase, are provided.