Similitudine statistica e semantica tra le frasi inglesi

Titolo originale:

Statistical and Semantic Similarity between English Sentences

Contenuto del libro:

Questo libro presenta vari algoritmi per calcolare le somiglianze semantiche tra testi inglesi.

Ho esplorato tre diversi algoritmi per calcolare la somiglianza tra frasi in inglese. Il primo algoritmo, ben esplorato in letteratura (Salton e Buckley, 1988, Wu e Salton, 1981), pondera le parole di ogni frase in base alla frequenza dei termini e alla frequenza inversa dei documenti (tf-idf ) e non utilizza alcuna informazione semantica.

Il secondo algoritmo utilizza misure della distanza semantica tra parole appartenenti alla stessa parte del discorso. Il terzo algoritmo combina i punteggi tf-idf e i punteggi della distanza semantica tra le parole. Ho valutato le prestazioni del secondo e del terzo algoritmo su due serie di dati: L'insieme di coppie di frasi di O'Shea con giudizi umani di somiglianza (Li et al., Aug, Rubenstein e Goodenough, 1965) e il dataset di parafrasi a livello di frase di Microsoft Research (Rus et al., 2012).

Sul set di dati di O'Shea, il terzo algoritmo corrisponde più accuratamente ai giudizi umani rispetto al secondo. Sul set di dati Microsoft, non è stata riscontrata una differenza significativa tra i due algoritmi.