Towards a dynamic system in credit scoring

Abstract

In this study, it is aimed to construct a fully automated, comprehensive, and dynamic system which gives the ability to a credit analyst to make credit decisions without any human interaction, solely based on the data set. With this system, it is hoped not to miss any valuable data transformation step and it is assumed that each built in model in RapidMiner is a possible candidate to be the best predictor. To this end, a model comparison engine has been designed in RapidMiner. This engine conducts almost every kind of data transformation on the data set and gives the opportunity to observe the effects of data transformations. The engine also trains every possible model on every possible transformed data. Therefore, the analyst can easily compare the performances of models. As the final phase, it is aimed to develop an objective method to select successful single models to build more successful ensemble models without any human interaction. However, research in this direction has not been able to achieve an objective method. Hence, to build ensemble models, six of the most successful single models are chosen manually and every possible combination of these models are fed to another engine: ensemble model building engine. This engine tries every combination of single models in ensemble modelling and provides the credit analyst with the ability to find the best possible combination of single models, and finally to reach the ultimate, most successful model that can later be used in predicting the creditworthiness of counterparties.

Kredi skorlamasında, lojistik regresyon gibi istatistiksel yöntemler yıllarca başarılı bir şekilde kullanılmıştır. Son yirmi yılda, bazı veri madenciliği algoritmaları popülarite kazanmış ve kredi skorlamasında kullanışlı olduklarını kanıtlamışlardır. Güncel araştırmalar, veri madenciliği yöntemlerinin gerçekten de iyi tahmin ediciler olduklarını göstermektedir. Ek olarak, tekil modelleri birleştiren gruplama modelleri daha da iyi tahmin yeteneğine sahiptir. Bununla birlikte, çoğu araştırmada, veri dönüştürme adımlarının arkasındaki mantık ve gruplama modellerini oluşturmada tekil modellerin seçim kriterleri yeterince açık değildir. Bu çalışmada, bir kredi analistine yalnızca verilere dayanarak ve herhangi bir insan etkileşimi olmaksızın kredi kararları verme yeteneği kazandıracak, tamamen otomatik, kapsamlı ve dinamik bir sistem kurulması amaçlanmaktadır. Bu sistem ile, herhangi bir değerli veri dönüşüm adımını kaçırmamak umut edilmekte ve RapidMiner'daki her yerleşik modelin en iyi tahminci olmaya aday olduğu varsayılmaktadır. Bu amaçla, RapidMiner'da bir model karşılaştırma motoru tasarlandı. Bu motor veri kümesi üzerinde hemen her tür veri dönüşümünü gerçekleştirmekte ve veri dönüşümlerinin etkilerini gözleme fırsatını vermektedir. Motor ayrıca mümkün olan her dönüştürülmüş veri üzerinde olası tüm modellerini de eğitir. Bu sayede, analist modellerin performanslarını kolayca karşılaştırabilmektedir. Son aşamada, insan etkileşimi olmaksızın daha başarılı gruplama modelleri oluşturmada başarılı tekil modelleri seçmek için nesnel bir yöntem geliştirilmesi amaçlanmaktadır. Fakat, bu doğrultudaki araştırmalar nesnel bir yönteme ulaşılmasını sağlayamadı. Bu nedenle, gruplama modelleri oluşturmak için, en başarılı tekil modellerin altısı manuel olarak seçildi ve bu modellerin olası kombinasyonları başka bir motora beslendi: gruplama modeli oluşturma motoru. Bu motor, gruplama modelinde tekil modellerin her kombinasyonunu denemekte ve kredi analistine tekil modellerin mümkün olan en iyi kombinasyonunu bulma ve sonuç olarak karşı tarafların kredi değerliliği hakkında tahminde bulunabilecek en mükemmel ve en başarılı modele ulaşma olanağı sağlamaktadır.