Log analysis with anomaly detection

Loading...
Thumbnail Image

Date

2019

Journal Title

Journal ISSN

Volume Title

Publisher

Kadir Has Üniversitesi

Open Access Color

OpenAIRE Downloads

OpenAIRE Views

Research Projects

Organizational Units

Journal Issue

Abstract

Detection of anomalies in the data is an important data analysis job for server logs as they will reveal many benefits. Different types of methods can be used for anomaly detection: supervised, semi-supervised, and supervised anomaly detection. Similarly different algorithms exist for each category. In this work, four anomaly detection algorithms are utilized and their performance metrics are compared for public Hadoop Distributed File System (HDFS) data. Among the others, the support vector machines are identified as the best method for anomaly detection.
Sunucu kütükleri için veride anormallik yakalam getireceği faydalar sebebiyle çok önemli bir veri işleme görevidir. Anormallik yakalama için farklı türlerde yöntemler kullanılabilir: gözetimli, yarı gözetimli ve gözetimsiz. Benzer şekilde, her bir tür için farklı yöntemler bulunmaktadır. Bu çalışmada, herkese açık bir Hadoop Dağıtık Dosya Sisitemi (HDFS) verisi dört adet anormallik yakalama yöntemi kullanılmış ve başarımları karşılaştırılmıştır. Ötekilerinin yanında SVM anormallik yakalamada en başarılı yöntem olarak ortaya çıkmıştır.

Description

Keywords

Turkish CoHE Thesis Center URL

Fields of Science

Citation

WoS Q

Scopus Q

Source

Volume

Issue

Start Page

End Page

Collections