XGBoost. L'Extreme Gradient Boosting per le applicazioni minerarie

Recensioni dei lettori

Attualmente non ci sono recensioni dei lettori. La valutazione si basa su 3 voti.

Titolo originale:

XGBoost. The Extreme Gradient Boosting for Mining Applications

Contenuto del libro:

Relazione tecnica dell'anno 2017 nella materia Informatica - Internet, Nuove Tecnologie, voto: 8, lingua: English, abstract: Il tree boosting ha dimostrato empiricamente di essere un approccio altamente efficace e versatile per la modellazione data-driven. L'argomento principale è che il tree boosting può determinare in modo adattivo le vicinanze locali del modello, prendendo così in considerazione il trade-off bias-varianza durante l'adattamento del modello.

Recentemente, un metodo di tree boosting noto come XGBoost ha guadagnato popolarità grazie alla sua maggiore accuratezza. XGBoost introduce inoltre alcuni miglioramenti che gli consentono di gestire il trade-off bias-varianza in modo ancora più accurato. In questo lavoro di ricerca, proponiamo di dimostrare l'uso di una procedura adattiva, ovvero la Learned Loss (LL), per aggiornare la funzione di perdita mentre il boosting procede.

L'accuratezza dell'algoritmo proposto, ovvero XGBoost con funzione di boosting Learned Loss, viene valutata utilizzando il metodo test/train, la validazione incrociata K-fold e la validazione incrociata stratificata e confrontata con gli algoritmi allo stato dell'arte, ovvero XGBoost, AdaBoost, AdaBoost-NN, Regressione lineare (LR), Rete neurale (NN), Albero decisionale (DT), Macchina a vettori di supporto (SVM), bagging-DT, bagging-NN e Random Forest. I parametri valutati sono l'accuratezza, l'errore di tipo 1 e l'errore di tipo 2 (in percentuale).

Questo studio utilizza un totale di dieci anni di dati storici, dal gennaio 2007 all'agosto 2017, di due indici di borsa CNX Nifty e S&P BSE Sensex, che sono altamente voluminosi. Inoltre, in questo lavoro di ricerca, analizzeremo in che modo XGBoost si differenzia dalle tecniche di ensemble più tradizionali. Inoltre, discuteremo le tecniche di regolarizzazione che questi metodi offrono e l'effetto che hanno sui modelli.

Inoltre, cercheremo di rispondere alla domanda sul perché XGBoost sembra vincere così tante competizioni. A tal fine, forniremo alcuni argomenti per spiegare perché il tree boosting, e in particolare XGBoost, sembra essere un approccio così efficace e versatile.