Ölçeklenebilir manifold öğrenme kütüphanesi geliştirilmesi: Scaman

Abstract

This thesis presents an exploration of manifold learning and dimensionality reduction techniques, which are crucial in the fields of data science and machine learning. The center of this study is the development and evaluation of 'Scaman (Scalable Manifold Library), a Python-based computational tool designed to implement these techniques. This thesis investigates the key manifold learning algorithms. Including PCA,MDS, LE, and LLE and emphasizing the importance of eigenvalue solvers in these algorithms. The contribution of this thesis is the integration of advanced eigensolvers like NumPy, SLEPc and FEAST into key manifold algorithms within scaman package. The empirical analysis was conducted using various synthetic and real-world datasets. Those analyses focused on the efficiency, accuracy, and practical utility of scaman in different scenarios. Results demonstrate the tool's effectiveness, especially in handling large datasets. The advantages of FLANN and SLEPc prove scaman's efficiency in the creation of adjacency matrices and eigenvalue computation. The outcome of this thesis provides a computational tool for researchers and practitioners. Future directions include expanding the tool's capabilities by adding more algorithms, improving scalability, and applying various domain specific data-driven scenarios.Bu tez, veri bilimi ve makine öğrenimi alanlarında önemli olan manifold öğrenme ve boyutluluk azaltma tekniklerinin bir incelemesini sunmaktadır. Bu çalışmanın merkezi, bu teknikleri uygulamak için tasarlanmış Python tabanlı bir hesaplama aracı olan 'Scaman'ın (Ölçeklenebilir Manifold Kütüphanesi) geliştirilmesidir. Bu tez, temel manifold öğrenme algoritmalarını incelemektedir. PCA, MDS, LE ve LLE'nin dahil edilmesi ve bu algoritmalarda özdeğer çözücülerin öneminin vurgulanması bu tezde amaçlanmıştır. Bu tezin katkısı, NumPy, SLEPC ve FEAST gibi gelişmiş özdeğer çözücülerin, Scaman paketi içindeki manifold algoritmalarına entegrasyonudur. Ampirik analiz, çeşitli sentetik ve gerçek dünya veri kümeleri kullanılarak gerçekleştirilmiştir. Bu analizler, farklı senaryolarda Scaman'ın verimliliğine, doğruluğuna ve pratik faydasına odaklanmıştır. Sonuçlar, aracın özellikle büyük veri kümelerinin işlenmesindeki etkinliğini göstermektedir. FLANN ve SLEPc gibi kütüphanelerin avantajları, Scaman'ın komşuluk matrislerin oluşturulmasında ve özdeğer hesaplamasında verimliliğini kanıtlar. Bu tezin bir çıktısı, araştırmacılar ve uygulayıcılar için hesaplamalı bir araç sağlamaktadır. Gelecek planları arasında, daha fazla algoritma ekleyerek, ölçeklenebilirliği geliştirerek ve çeşitli alanlara özgü veri odaklı senaryolar uygulayarak Scaman'ı genişletme yer almakltadır.