Getting Started with Google BERT: Costruire e addestrare modelli di elaborazione del linguaggio naturale all'avanguardia utilizzando BERT

Recensioni dei lettori

Il libro è un'introduzione completa al BERT e all'architettura del trasformatore che ne è alla base, con un equilibrio di spiegazioni teoriche ed esempi pratici di codifica. È particolarmente adatto a coloro che hanno una conoscenza di base di PNL e deep learning, in quanto illustra in dettaglio diverse varianti e applicazioni di BERT. Tuttavia, alcuni lettori hanno criticato il libro per il linguaggio ridondante, la trattazione superficiale di argomenti complessi e i problemi di qualità di stampa.

⬤ L'esposizione chiara e sintetica dell'architettura del BERT e dei trasformatori
⬤ combina la teoria con applicazioni pratiche ed esempi di codifica
⬤ accessibile ai lettori senza dottorato
⬤ i laboratori pratici e le risorse GitHub migliorano l'esperienza di apprendimento
⬤ discussioni su diverse varianti del BERT e casi d'uso.

⬤ Linguaggio ridondante e ripetizioni nelle spiegazioni
⬤ copertura superficiale di argomenti complessi
⬤ problemi con la qualità di stampa
⬤ diversi lettori hanno segnalato errori nel codice
⬤ alcuni hanno trovato il contenuto troppo basilare o poco approfondito per i professionisti avanzati.

(basato su 38 recensioni dei lettori)

Titolo originale:

Getting Started with Google BERT: Build and train state-of-the-art natural language processing models using BERT

Contenuto del libro:

Inizia il tuo viaggio nella PNL esplorando BERT e le sue varianti come ALBERT, RoBERTa, DistilBERT, VideoBERT e altro ancora con la libreria di trasformatori di Hugging Face.

Caratteristiche principali

⬤ Esplora il codificatore e il decodificatore del modello dei trasformatori.

⬤ Diventa esperto di BERT e di ALBERT, RoBERTa e DistilBERT.

⬤ Scoprire come preaddestrare e mettere a punto i modelli BERT per diversi compiti NLP.

Descrizione del libro

Il BERT (bidirectional encoder representations from transformer) ha rivoluzionato il mondo dell'elaborazione del linguaggio naturale (NLP) con risultati promettenti. Questo libro è una guida introduttiva che vi aiuterà a familiarizzare con l'architettura BERT di Google. Con una spiegazione dettagliata dell'architettura del trasformatore, questo libro vi aiuterà a capire come funzionano l'encoder e il decoder del trasformatore.

Esplorerete l'architettura di BERT imparando come il modello BERT viene pre-addestrato e come utilizzare BERT pre-addestrato per compiti a valle, perfezionandolo per compiti NLP come l'analisi del sentimento e la sintesi del testo con la libreria di trasformatori Hugging Face. Man mano che si procede, si conosceranno le diverse varianti di BERT, come ALBERT, RoBERTa ed ELECTRA, e si analizzerà SpanBERT, utilizzato per compiti di NLP come la risposta alle domande. Verranno inoltre illustrate varianti di BERT più semplici e veloci, basate sulla distillazione della conoscenza, come DistilBERT e TinyBERT. Il libro illustra in dettaglio MBERT, XLM e XLM-R e introduce poi sentence-BERT, utilizzato per ottenere la rappresentazione di frasi. Infine, scoprirete modelli BERT specifici per il dominio, come BioBERT e ClinicalBERT, e scoprirete un'interessante variante chiamata VideoBERT.

Alla fine di questo libro su BERT, sarete ben esperti nell'uso di BERT e delle sue varianti per svolgere compiti pratici di NLP.

Cosa imparerete

⬤ Capire il modello di trasformatore dalle fondamenta.

⬤ Scoprire come funziona BERT e preaddestrarlo utilizzando il modello linguistico mascherato (MLM) e la predizione della frase successiva (NSP).

⬤ Prendere confidenza con BERT imparando a generare embeddings di parole e frasi contestuali.

⬤ Affinare BERT per i compiti a valle.

⬤ Prendere confidenza con i modelli ALBERT, RoBERTa, ELECTRA e SpanBERT.

⬤ Prendere confidenza con i modelli BERT basati sulla distillazione della conoscenza.

⬤ Comprendere i modelli multilingue come XLM e XLM-R.

⬤ Esplorare Sentence-BERT, VideoBERT e BART.

A chi è rivolto questo libro

Questo libro si rivolge ai professionisti della PNL e agli scienziati dei dati che desiderano semplificare le attività di PNL per consentire una comprensione efficiente del linguaggio utilizzando BERT. Per trarre il meglio da questo libro è necessaria una conoscenza di base dei concetti di PNL e deep learning.