Pretrain Vision e modelli linguistici di grandi dimensioni in Python: Tecniche end-to-end per la costruzione e la distribuzione di modelli di base su AWS

Recensioni dei lettori

Il libro “Pretrain Vision and Large Language Models in Python” di Emily Webber è una guida completa che aiuta i lettori a comprendere e implementare i modelli di base utilizzando AWS e Amazon SageMaker. Fornisce consigli pratici, discussioni dettagliate ed esempi di codice che soddisfano sia i principianti che gli utenti avanzati. Tuttavia, alcuni lettori hanno riscontrato problemi, come errori di stampa in alcune copie, e hanno ritenuto che il libro fosse poco approfondito o che cercasse di coprire troppe cose senza entrare in dettagli significativi.

Copertura completa dell'addestramento e dell'implementazione dei modelli fondamentali, esempi pratici e campioni di codice, guida ben strutturata, approfondimenti da parte dell'autore, adatto sia ai principianti che agli utenti avanzati, risorsa tempestiva in considerazione del crescente interesse per i modelli linguistici di grandi dimensioni.

Alcune copie presentavano errori di stampa (pagine mancanti, pagine capovolte), può richiedere una conoscenza preliminare del deep learning, può mancare di profondità in alcune aree, alcuni lettori hanno ritenuto che fosse troppo ampio e disordinato e può sembrare una presentazione di vendita di SageMaker.

(basato su 15 recensioni dei lettori)

Titolo originale:

Pretrain Vision and Large Language Models in Python: End-to-end techniques for building and deploying foundation models on AWS

Contenuto del libro:

Padroneggiare l'arte della visione formativa e dei modelli linguistici di grandi dimensioni con fondamenti concettuali e indicazioni di esperti del settore. Impara a conoscere i servizi AWS e i modelli di progettazione, con esempi di codifica pertinenti.

Caratteristiche principali:

⬤ Impara a sviluppare, addestrare, sintonizzare e applicare i modelli di base con pipeline end-to-end ottimizzate.

⬤ Esplora l'addestramento distribuito su larga scala per modelli e set di dati con esempi AWS e SageMaker.

⬤ Valutare, distribuire e rendere operativi i modelli personalizzati con il rilevamento delle distorsioni e il monitoraggio delle pipeline.

Descrizione del libro:

I modelli Foundation hanno cambiato per sempre l'apprendimento automatico. Da BERT a ChatGPT, da CLIP a Stable Diffusion, quando miliardi di parametri vengono combinati con grandi dataset e centinaia o migliaia di GPU, il risultato è a dir poco da record. Le raccomandazioni, i consigli e gli esempi di codice contenuti in questo libro vi aiuteranno a preaddestrare e a mettere a punto i vostri modelli di base da zero su AWS e Amazon SageMaker, applicandoli a centinaia di casi d'uso nella vostra organizzazione.

Con i consigli di Emily Webber, esperta di AWS e di apprendimento automatico, questo libro vi aiuta a imparare tutto ciò che serve per passare dall'ideazione del progetto alla preparazione del dataset, all'addestramento, alla valutazione e all'implementazione di modelli linguistici, di visione e multimodali di grandi dimensioni. Con spiegazioni passo passo dei concetti essenziali ed esempi pratici, si passa dalla padronanza del concetto di preformazione alla preparazione del dataset e del modello, alla configurazione dell'ambiente, all'addestramento, alla messa a punto, alla valutazione, al deployment e all'ottimizzazione dei modelli di base.

Imparerete ad applicare le leggi di scalabilità alla distribuzione del modello e del set di dati su più GPU, a rimuovere le distorsioni, a ottenere un elevato throughput e a costruire pipeline di distribuzione.

Alla fine di questo libro, sarete ben equipaggiati per intraprendere il vostro progetto di pre-training e messa a punto dei modelli di base del futuro.

Che cosa imparerete?

⬤ Trovare i casi d'uso e i dataset giusti per il pretraining e la messa a punto.

⬤ Prepararsi alla formazione su larga scala con acceleratori e GPU personalizzati.

⬤ Configurare gli ambienti su AWS e SageMaker per massimizzare le prestazioni.

⬤ Selezionare gli iperparametri in base al modello e ai vincoli.

⬤ Distribuire il modello e il set di dati utilizzando molti tipi di parallelismo.

⬤ Evitate le insidie con i riavvii dei lavori, i controlli di salute intermittenti e altro ancora.

⬤ Valutate il vostro modello con approfondimenti quantitativi e qualitativi.

⬤ Distribuire i modelli con miglioramenti del runtime e pipeline di monitoraggio.

A chi è rivolto questo libro?

Se sei un ricercatore o un appassionato di apprendimento automatico che vuole iniziare un progetto di modellazione di base, questo libro è per te. Scienziati applicati, data scientist, ingegneri dell'apprendimento automatico, architetti di soluzioni, product manager e studenti potranno trarre beneficio da questo libro. È necessario avere un livello intermedio di Python e concetti introduttivi di cloud computing. È necessaria una solida comprensione dei fondamenti del deep learning, mentre verranno spiegati gli argomenti avanzati. Il contenuto copre le tecniche avanzate di machine learning e cloud, spiegandole in modo pratico e facile da capire.