Autonomous Vehicle Control Using Reinforcement Learning

Abstract

Autonomous vehicles have become an important research topic where artificial intelligence is applied. As the research increases, by means of the applications of artificial intelligence algorithms in different areas, enable the working mechanisms of the systems to become more optimal due to the change of factors such as human power, time, energy and control. It has been observed that deep learning and machine learning algorithms have advantages and disadvantages in different situations and conditions. Since deep learning algorithms require large amounts of data, studies on the reinforcement learning model based on the experience from the environment and based on the reward-punishment system have recently concentrated and some striking results have been obtained. Reinforcement learning is considered a powerful AI paradigm that can be used to teach machines through interaction with the environment and learning from their mistakes. In this thesis, an environment was created based on a two-dimensional vehicle scenario created using a pyglet simulation tool. A comparative simulation study of different reinforcement learning algorithms such as Q-Learning, SARSA and Deep Q-Network (DQN) is presented on this environment. While making this comparison, a certain learning criterion was added, and also, parameters such as epsilon value, step number were changed, and changes in training and test stages were analyzed. For this study, the actors (agent, sensor, obstacles etc.) provided by the simulator program were supported. Through the feedback provided by the sensors, the reinforcement learning agent trains himself on the basis of these algorithms and determines a movement strategy to explore the environment limited to a specific area.

Otonom araçlar, yapay zekanın uygulandığı önemli bir araştırma konusu haline geldi. Araştırmalar yoğunlaştıkça yapay zeka algoritmalarının farklı alanlardaki uygulamaları ile insan müdahalesi, zaman, enerji, kontrol gibi faktörlerin değişimine bağlı olarak sistemlerin çalışma mekanizmalarının ve hedeflerine varış doğrultularının daha optimal bir sonuca ulaştırdığı görülmektedir. Derin öğrenme ve makine öğrenme algoritmalarının farklı durum ve koşullarda avantaj ve dezavantajları olduğu görülmüştür. Derin öğrenme algoritmaları yüksek miktarda veriye ihtiyaç duyduğundan, çevreden gelen deneyimlerle hareket eden ve ödül-ceza sistemine dayanan takviye öğrenme modeli üzerine çalışmalar yakın zamanda yoğunlaşmıştır ve bazı çarpıcı sonuçlar elde edilmiştir. Takviye öğrenimi, çevre ile etkileşim ve hatalarından öğrenme yoluyla makineleri öğretmek için kullanılabilecek güçlü bir AI paradigması olarak kabul edilir. Bu tez çalışmasında pyglet simülasyon aracı kullanılarak oluşturulmuş iki boyutlu bir araç senaryosu baz alınarak bir ortam oluşturulmuştur. Bu ortam üzerinde Q-Learning, SARSA ve Deep Q-Network (DQN) gibi farklı pekiştirici öğrenme algoritmalarının karşılaştırmalı bir simülasyon çalışması sunulmaktadır. Bu karşılaştırmayı yaparken belirli bir öğrenme kriteri eklenmiştir ve ayrıca epsilon değeri, step sayısı gibi parametreler değiştirilerek training ve test aşamalarındaki değişiklikler analiz edilmiştir. Bu çalışma için simülatör programı tarafından sağlanan aktörler (ajan, sensör, engeller vb.) ile desteklenmiştir. Sensörler tarafından sağlanan geri bildirim yoluyla, pekiştirmeli öğrenme ajanı, kendini bu algoritmaları baz alarak eğiterek belirli bir alanla sınırlı ortamı keşfetmek için bir hareket stratejisi belirler.