Validità, affidabilità e significatività: Metodi empirici per la PNL e la scienza dei dati

Titolo originale:

Validity, Reliability, and Significance: Empirical Methods for Nlp and Data Science

Contenuto del libro:

I metodi empirici sono mezzi per rispondere alle domande metodologiche delle scienze empiriche mediante tecniche statistiche. Le questioni metodologiche affrontate in questo libro comprendono i problemi di validità, affidabilità e significatività. Nel caso dell'apprendimento automatico, queste corrispondono rispettivamente alle domande se un modello predice ciò che intende prevedere, se le prestazioni di un modello sono coerenti tra le repliche e se una differenza di prestazioni tra due modelli è dovuta al caso. L'obiettivo di questo libro è rispondere a queste domande con test statistici concreti che possono essere applicati per valutare la validità, l'affidabilità e la significatività dell'annotazione dei dati e della previsione dell'apprendimento automatico nei campi dell'NLP e della scienza dei dati.

L'attenzione è rivolta ai metodi empirici basati su modelli, in cui le annotazioni dei dati e le previsioni dei modelli sono trattate come dati di addestramento per modelli probabilistici interpretabili appartenenti alle ben note famiglie dei modelli additivi generalizzati (GAM) e dei modelli lineari a effetti misti (LMEM). Sulla base dei parametri interpretabili dei modelli GAM o LMEM addestrati, il libro presenta test statistici basati sul modello, come un test di validità che consente di individuare le caratteristiche circolari che eludono l'apprendimento. Inoltre, il libro discute un coefficiente di affidabilità utilizzando la decomposizione della varianza basata sui parametri di effetto casuale degli LMEM. Infine, si dimostra che un test di significatività basato sul rapporto di verosimiglianza di LMEM annidati addestrati sui punteggi delle prestazioni di due modelli di apprendimento automatico consente di includere naturalmente le variazioni nelle impostazioni dei metaparametri nei test di ipotesi e facilita inoltre un raffinato confronto tra sistemi condizionato alle proprietà dei dati di input.

Questo libro può essere utilizzato come introduzione ai metodi empirici per l'apprendimento automatico in generale, con particolare attenzione alle applicazioni in NLP e scienza dei dati. Il libro è autonomo, con un'appendice sul background matematico di GAM e LMEM e con una pagina web di accompagnamento che include il codice R per replicare gli esperimenti presentati nel libro.