Video veri setleri ile insan eylemi tanıma yaklaşımlarına yönelik alan araştırması

Abstract

İnsan eylem tanıma, insanların hareketlerinin makine öğrenmesi ve derin öğrenme metotları kullanılarak tahmin edilmesidir. Son yıllarda makine öğrenmesi ve derin öğrenme yöntemlerine artan ilgiyle birlikte, insan hareketlerinin tespiti konusu da gelişmektedir. İlk olarak duruk görüntüler üzerinden çıkarılan eylem tespitleri teknolojinin gelişmesiyle beraber videolar üzerinde ve hatta canlı akışlarda bile gerçekleştirilmeye başlanmıştır. Günlük hayatta da artık fazlasıyla görmeye başladığımız öğrenme tabanlı yöntemlerden biri de insan eylem tanıma yöntemleri olmaktadır. Hırsızların, kriminal suç işleyecek kişilerin veya tehlikeli aktiviteleri gerçekleştirecek bireylerin önceden tahmin edilmesi, yaya aktivitelerinin trafikteki öngörülerinde ve diğer birçok alanda insan eylem tanıma yöntemleri aktif olarak kullanılmaya başlanmıştır. Bununla birlikte, insan eylemlerini tanıma konusu öğrenme yöntemlerinin gelişmesiyle hem hız ve doğru tanıma performanslarının artmasıyla hem de pratik yöntemlerin gelişmesiyle kullanım alanları da genişlemektedir. Bu çalışmada, insan eylem tanıma konusundaki farklı yöntemleri ile dikkat çeken on beş farklı makale ele alınmış ve her biri detaylı olarak incelenerek bir araştırma hazırlanmıştır. Bu araştırmada yöntemleri bakımından insan eylem tanıma konusuna yeni bir bakış açısı kazandıran yaklaşımlar incelenecektir. 7 Araştırma boyunca ele alınan tüm makaleler videolar üzerinde tanıma işlemlerini gerçekleştirmektedir. Tüm bu tanıma işlemleri bir taksonomiye göre kategorilendirilmiştir ve beş ana kategori oluşturulmuştur. Bu kategoriler; ağ tabanlı yaklaşımlar, hareket tabanlı yaklaşımlar, çoklu örnek öğrenme tabanlı yaklaşımlar, sözlük tabanlı yaklaşımlar ve histogram tabanlı yaklaşımlardır. Bu kategorilendirmeye göre tüm makaleler incelenmiştir. İncelenen makalelerin her birine ait yöntemlerin açıklanması, geliştirme aşamaları, hangi ihtiyaçtan ortaya çıktığı, veri setleri üzerindeki çalışmalar ve elde edilen doğruluk sonuçları detaylandırılmıştır. Bununla birlikte, makalelerde kullanılan günlük hayat, trafikteki araçlar, spor ve uçangözlerden elde edilen videoları içeren veri setleri de ele alınmış, araştırmadan esinlenerek yeni araştırmacılara bir fikir kazandırmak amacıyla, her bir veri seti incelenerek bir karşılaştırma tablosu oluşturulmuştur. Veri setlerini kullanan makalelerin eğitim ve test ayrımlarını içeren tablolar da dâhil edilmiştir. Bu araştırma ile detayları verilen tüm makaleler ve veri setleri gelecekte yapılacak olan çalışmalara bir referans olacaktır.

Human action recognition is the prediction of people's movements using machine learning and deep learning methods. With the increasing interest in machine learning and deep learning methods in recent years, the issue of detection of human movements has also been developing. With the development of technology, action detections, which were first extracted from static images, started to be performed on videos and even in live streams. Human action recognition methods are one of the learning-based methods we have started to see in daily life. Prediction of thieves, criminals or individuals who will carry out dangerous activities has started to be actively used in traffic predictions of pedestrian activities and in many other areas. Furthermore, with the development of learning methods on the subject of human action recognition, the areas of use are expanding with the increase of speed and correct recognition performances and the development of practical methods. In this study, fifteen different articles drawing attention with their different methods on Human action recognition are discussed and a research is prepared by examining each one in detail. In this research, approaches that give a new perspective to human action recognition in terms of methods will be examined. All the articles discussed throughout the research carry out recognition on the videos. All these recognition 9 processes are categorized by a taxonomy and five main categories are created. These categories are; network-based approaches, motion-based approaches, multiple instance learning based approaches, dictionary-based approaches and histogram- based approaches. All articles were examined according to this categorization. Explanation of the methods for each of the articles examined, the stages of development, the need arising from it, the studies on the data sets and the accuracy results obtained were detailed. In addition, datasets containing videos from daily life, vehicles in traffic, sports and drone videos were also considered and a comparison table was created by examining each dataset in order to gain an idea for new researchers. Tables containing training and test separations of articles using data sets are also included. This research will be a reference to future studies of all articles and data sets detailed.