Basketbol oyuncu tanımlama ve skor tespiti

Abstract

Spor video analizi, görüntü is ?leme uygulamalarının popüler kullanım alanlarından biridir. Bu tür analizler profesyonel spor müsabakalarında ya da antrenman videolarında yapılmakta ve genel olarak skor ve oyuncu tanımlamaları için derin ög ?renme yerine geleneksel yöntemler kullanılmaktadır. Bu tezin amacı ise bir basketbol antrenmanını gerçek zamanlı olarak analiz edebilen bir algoritma gelis ?tirmektir. Yani, bu uygulama dog ?ru oyuncuları tespit etmeli ve her bir oyuncu için skoru vermelidir. Bu amaçla, ilk olarak s ?utları ve bu s ?utların bas ?arılı olup olmadıg ?ını tespit eden bir metot tanıtılmıs ?tır. Spesifik olarak, basketbol potasının görüntüdeki yerini tespit etmek için bir derin ög ?renme modeli verilmis ? ve s ?ut tespiti için arka plan çıkarımı kullanılmıs ?tır. Ardından, s ?utun skor olup olmadıg ?ı farklı bir sinir ag ?ıyla tanımlanmıs ?tır. S ?utun tanımlanmasından sonra, arabelleklenen görüntüler içinde geriye gidilerek s ?utör tespiti yapılır. Oyuncu YOLOv3-tiny kullanılarak tespit edilir ve güdümsüz bir derin ög ?renme modeliyle tanımlanır. Bu güdümsüz model yüksek performans vermesi için Üçlü Yitim ve bir bölütleme modelinin kullanımıyla eg ?itilmis ?tir. Gerçek zaman hedefine ulas ?mak amacıyla, kullanılan bütün modeller için temel olarak mobil ag ?lardan farklı parametre ve eg ?itim yöntemleriyle yararlanılmıs ?tır. Ek olarak, her seans sonunda bir kümeleme uygulaması çalıs ?tırılarak tekrar oyuncu tanımlama yapılmıs ? ve sonucun iyiles ?tirilmesi sag ?lanmıs ?tır. Deneyler iki farklı antrenman videosu üzerinde yapılmıs ?tır. Deney sonuçları skor tanımlamasında %95 dog ?ruluk oranı; 2 oyuncu üzerinde gerçek zamanlı olarak %92.5'e ve kümeleme ile 6 oyuncu üzerinde %86.7'ye varan dog ?ruluk oranları ile tanıtılan metodun etkililig ?ini göstermektedir.

Sports video analysis is one of the most popular areas for image processing. These analyses are done on professional sports matches or training videos and generally employ traditional image processing methods instead of deep learning for scoring and player identification. The aim of this thesis is to obtain an algorithm to analyze a basketball training in real time. That is, the approach should be able to detect the correct players and scores for each player. For this purpose, we first propose a method to detect the shots and if they are makes or misses. Specifically, we use a deep learning model to detect the position of the hoop and background subtraction to detect the shot. Then, scoring is determined by another neural network using classification. After the determination of the shot, we go back in our buffered images to find the player who sent the shot. The player is detected by YOLOv3-tiny and identified by a deep unsupervised re-identification model. This unsupervised model is trained with Triplet Loss with the addition of a segmentation model to obtain high accuracy. To keep the real-time aim, all models employ mobile networks as base with different parameters and training methods. After each session, we run clustering to do the player re-identification again to improve on the result. The experiments were conducted on two training videos. The experiment results show the effectiveness of the current method with 95% accuracy on scoring identification and up to 92.5% overall accuracy on re-identification of 2 players in real-time, with up to 86.7% accuracy on 6 players with clustering.