Tek kamera ve Lidar verisi ile konum kestirimi

Abstract

Navigasyon çözümlerinin temel bileşenlerinden biri olan konum kestirimi problemi,günümüzde çoğunlukla küresel konumlama sistemi (KKS) ile diğer kaynaklardan elde edilen verilerin (ataletsel ölçüm birimi, sayısal arazi yükseklik verisi haritaları, barometrik basınç sensörü, tekerlek kilometre sayacı vb.) bir arada kullanılmasıyla çözülmektedir. KKS sinyallerinin kullanılamadığı ortamlarda ise konum kestirimi problemi literatürdeki açık problemler arasında yerini korumaya devam etmektedir. ̇Insanlı veya insansız, otonom veya değil farketmeksizin, herhangi bir aracın/robotun KKS sinyallerini kullanamadığı durumlarda da seyrüsefer görevini yerine getirebilmesi için, doğru ve yüksek hassasiyetli konum kestirimi yapabilmesi gerekmektedir. Altı serbestlik dereceli konum kestirimi için kullanılan çeşitli yöntemler ile algılayıcı donanımlar detaylı incelendiğinde herbirinin çeşitli avantajlarının ve dezavantajlarının bulunduğu anlaşılmaktadır. Farklı kaynaklardan elde edilen verilerin birarada kullanıldığı yöntemlerin, altı serbestlik dereceli konum kestirimi probleminin çözümünde daha iyi sonuçlar verdiği görülmektedir. Bu tez çalışmasında, tek bir kamera ve lidar sensörü kullanılarak, KKS sinyallerinin kullanılamadığı ortamlarda altı serbestlik dereceli konum bilgisinin kestirilmesi problemi ele alınmıştır. Tek bir kameradan alınan verilerin işlenmesi ile elde edilen konum bilgisinin, kestirilemeyen bir ölçek dahilinde doğru olduğu bilinmektedir. Doğru metrik ölçülerle konum bilgisini kestirebilmek için bu ölçek bilgisinin çeşitli yöntemlerle hesaplanması gerekmektedir. Bu tezde, kameradan alınan resim kareleri üzerindeki piksellerle, Lidar sensöründen elde edilen metrik veriler kullanılarak altı serbestlik dereceli konum bilgisi mutlak ölçekler dahilinde hesaplanmıştır. Önerilen algoritmanın testleri KITTI odometri veri kümesi üzerinde yapılmıştır. KITTI odometri veri kümesi; hareketli bir otomobilin üzerine yerleştirilmiş olan stereo kameralar, Lidar, ataletsel ölçüm birimi (AÖB) ve Küresel Konumlama Sistemi'nden elde edilen verilerle oluşturulmuştur. KITTI odometri veri kümesi içerisinde yer alan tek bir renkli kamera verisi ile Lidar sensörü verileri bu tezin konusu olan algoritmanın testleri için kullanılmıştır. KKS ve AÖB'den elde edilen veriler ise önerilen Görsel-Lidar Odometri algoritmasının başarısını kıyaslamak üzere referans olarak kullanılmıştır. KITTI odometri veri kümesi kullanılarak elde edilen test sonuçları, tek bir kamera verisi ile Lidar taramaları kullanılarak geliştirilen Görsel-Lidar Odometri yönteminin, maliyetli optimizasyon yöntemlerine ihtiyaç duyulmadan tutarlı konum bilgisi üretebildiğini göstermiştir.

The location estimation problem, which is one of the basic elements of the navigation solutions, is mostly solved by using the global positioning system (GPS) and the data obtained from other sources (inertial measurement unit, digital terrain elevation datamaps, barometric pressure sensor, wheel odometer etc.). In GPS-denied environments,the position estimation problem is still an open problem in the literature. Any vehicle/robot(whether manned or unmanned, autonomous or not) must be able to perform accurate and high-precision location estimation in order to perform its navigation task even in GPS-denied environments. When the various methods used for the six degrees-of-freedom location estimation and the sensory equipment are examined in detail, it is understood that each has various advantages and disadvantages. It is obvious that the methods which use the data obtained from different sources together give better results in the solution of six degrees of freedom location estimation problem.In this thesis, six degrees-of-freedom (6-DOF) position estimation problem in GPS-denied environments is examined by using a single camera and lidar sensor. It is known that the position information which is obtained from a single camera is accurate up to an unknown scale factor. In order to estimate location of a vehicle with accurate metric measurements, this unknown scale information should be calculated by various methods. In this study, six degrees of freedom position information is calculated within the absolute scales by using the metric data obtained from the Lidar sensor with the pixels on the picture frames taken from the camera. Tests of the proposed algorithm were performed on the KITTI odometry dataset. KITTI odometry dataset were created with data taken from stereo cameras, Lidar, inertial measurement unit and GPS receivers which are placed on a moving car. A single color camera frames and Lidar sensor data in the KITTI odometry dataset were used to test the proposed algorithm in this thesis. Data from GPS and inertial measurement unit (IMU) were used as a reference to compare the success of the proposed Visual-Lidar Odometry algorithm. The test results obtained using the KITTI odometry dataset showed that the Visual-Lidar Odometry method, developed using a single camera data and Lidar scans, can produce consistent location information without the need for costly optimization methods.