Apprendimento profondo su scala: All'intersezione di hardware, software e dati

Recensioni dei lettori

Il libro è una risorsa sul deep learning scalabile, lodata per gli esercizi pratici e le spiegazioni chiare, ma criticata per la copertura superficiale di argomenti avanzati e la mancanza di attenzione all'inferenza nella produzione di modelli.

Il libro è consigliato per la sua fantastica ricchezza di risorse, l'eleganza nel demistificare concetti complessi e gli efficaci esercizi pratici che sviluppano competenze reali.

Il libro è troppo generico nelle discussioni, manca di profondità per i professionisti, si concentra molto sulla formazione piuttosto che sull'inferenza e non fornisce approfondimenti sulla costruzione di servizi LLM/DL che soddisfino i requisiti di affidabilità.

(basato su 2 recensioni dei lettori)

Titolo originale:

Deep Learning at Scale: At the Intersection of Hardware, Software, and Data

Contenuto del libro:

Portare un progetto di deep learning in produzione su scala è piuttosto impegnativo. Per scalare con successo il vostro progetto, è necessaria una comprensione fondamentale del deep learning full stack, comprese le conoscenze che si trovano all'intersezione di hardware, software, dati e algoritmi.

Questo libro illustra i concetti complessi del deep learning full stack e li rafforza attraverso esercizi pratici per dotarvi di strumenti e tecniche per scalare il vostro progetto. Uno sforzo di scalabilità è vantaggioso solo se è efficace ed efficiente. A tal fine, questa guida spiega i concetti e le tecniche complesse che vi aiuteranno a scalare in modo efficace ed efficiente.

Si comprenderanno in modo approfondito:

⬤ Come i dati fluiscono attraverso la rete di deep-learning e il ruolo dei grafi di calcolo nella costruzione del modello.

⬤ Come il calcolo accelerato accelera l'addestramento e come utilizzare al meglio le risorse a disposizione.

⬤ Come addestrare il modello utilizzando paradigmi di addestramento distribuito, ossia il parallelismo tra dati, modello e pipeline.

⬤ Come sfruttare gli ecosistemi PyTorch in combinazione con le librerie NVIDIA e Triton per scalare la formazione del modello.

⬤ Il debug, il monitoraggio e l'analisi dei colli di bottiglia indesiderati che rallentano l'addestramento del modello.

⬤ Come accelerare il ciclo di vita dell'addestramento e ottimizzare il ciclo di feedback per iterare lo sviluppo del modello.

⬤ Una serie di trucchi e tecniche sui dati e come applicarli per scalare il modello di addestramento.

⬤ Come selezionare gli strumenti e le tecniche giuste per il vostro progetto di deep-learning.

⬤ Le opzioni per la gestione dell'infrastruttura di calcolo durante l'esecuzione in scala.