Metodi statistici per l'analisi delle annotazioni

Titolo originale:

Statistical Methods for Annotation Analysis

Contenuto del libro:

L'etichettatura dei dati è una delle attività più fondamentali della scienza e ha sostenuto la pratica, in particolare in medicina, per decenni, così come la ricerca nella linguistica dei corpora almeno dallo sviluppo del corpus Brown. Con il passaggio al Machine Learning nell'Intelligenza Artificiale (IA), la creazione di insiemi di dati da utilizzare per l'addestramento e la valutazione dei sistemi di IA, noti nell'IA anche come corpora, è diventata un'attività centrale anche in questo campo.

I primi dataset di IA venivano creati ad hoc per affrontare problemi specifici. Con la creazione di set di dati più grandi e riutilizzabili, che richiedevano maggiori investimenti, è nata l'esigenza di un approccio più sistematico alla creazione dei set di dati per garantire una maggiore qualità. È stata adottata una serie di metodi statistici, spesso ma non esclusivamente dalle scienze mediche, per garantire che le etichette utilizzate non fossero soggettive o per scegliere tra le diverse etichette fornite dai codificatori.

Un'ampia varietà di questi metodi è oggi regolarmente in uso. Questo libro intende fornire una rassegna dei metodi statistici più utilizzati a supporto della pratica dell'annotazione.

Per quanto ne sanno gli autori, questo è il primo libro che tenta di coprire le due famiglie di metodi più diffuse. La prima famiglia di metodi riguarda lo sviluppo di schemi di etichettatura e, in particolare, la garanzia che tali schemi siano tali da garantire un sufficiente accordo tra i codificatori.

La seconda famiglia comprende i metodi sviluppati per analizzare i risultati dei codificatori una volta che lo schema è stato concordato, in particolare, anche se non esclusivamente, per identificare l'etichetta più probabile per un elemento tra quelle fornite dai codificatori. Questo libro si concentra principalmente sull'elaborazione del linguaggio naturale, l'area dell'IA dedicata allo sviluppo di modelli di interpretazione e produzione del linguaggio, ma molti, se non la maggior parte, dei metodi qui discussi sono applicabili anche ad altre aree dell'IA, o addirittura ad altre aree della scienza dei dati.