Apprendimento rinforzato profondo con Python - Seconda edizione

Recensioni dei lettori

La seconda edizione di “Deep Reinforcement Learning with Python” è ampiamente apprezzata per la sua chiarezza, la copertura completa dei concetti di apprendimento per rinforzo e gli esempi pratici di codifica che utilizzano TensorFlow 2.0 e OpenAI Gym. Tuttavia, alcuni lettori lo trovano obsoleto per quanto riguarda le dipendenze dal software e frustrante per la mancanza di spiegazione dei concetti in alcuni esempi.

⬤ Spiegazioni chiare e flusso graduale dei concetti, dagli argomenti di base a quelli avanzati di RL.
⬤ Esercizi pratici con TensorFlow
⬤ 0 e OpenAI Gym che supportano l'apprendimento pratico.
⬤ Copertura molto dettagliata e completa di un'ampia gamma di algoritmi di apprendimento per rinforzo.
⬤ Le illustrazioni visive migliorano la comprensione.
⬤ Significativi miglioramenti rispetto alla prima edizione, comprese spiegazioni matematiche dettagliate.

⬤ Alcuni contenuti possono sembrare obsoleti, in particolare a causa della dipendenza da TensorFlow
⬤ x per alcuni esempi.
⬤ Mancanza di spiegazioni dettagliate in alcuni esempi, che portano a confondere il ragionamento dietro determinate scelte.
⬤ Il libro è lungo (700 pagine), cosa che alcuni lettori trovano eccessiva e potrebbero suggerire di dividerlo in versione per principianti e avanzata.
⬤ Le istruzioni per l'installazione dell'ambiente di codice sono considerate insufficienti da alcuni utenti.

(basato su 21 recensioni dei lettori)

Titolo originale:

Deep Reinforcement Learning with Python - Second Edition

Contenuto del libro:

Una guida ricca di esempi per i principianti che vogliono iniziare il loro viaggio nell'apprendimento per rinforzo e nel deep reinforcement learning con algoritmi distinti allo stato dell'arte.

Caratteristiche principali

⬤ Copre un vasto spettro di algoritmi RL da base ad avanzati con spiegazioni matematiche di ogni algoritmo.

⬤ Impara a implementare gli algoritmi con il codice seguendo esempi con spiegazioni riga per riga.

⬤ Esplora le più recenti metodologie di RL come DDPG, PPO e l'uso di dimostrazioni di esperti.

Descrizione del libro

Con il significativo miglioramento della qualità e della quantità degli algoritmi negli ultimi anni, questa seconda edizione di Hands-On Reinforcement Learning with Python è stata rinnovata in una guida ricca di esempi per l'apprendimento di algoritmi di apprendimento per rinforzo (RL) e di deep RL all'avanguardia con TensorFlow 2 e il toolkit OpenAI Gym.

Oltre a esplorare le basi della RL e i concetti fondamentali come l'equazione di Bellman, i processi decisionali di Markov e gli algoritmi di programmazione dinamica, questa seconda edizione approfondisce l'intero spettro dei metodi di RL basati sui valori, sulle politiche e sugli attori. Esplora in profondità algoritmi all'avanguardia come DQN, TRPO, PPO e ACKTR, DDPG, TD3 e SAC, demistificando la matematica sottostante e dimostrando le implementazioni attraverso semplici esempi di codice.

Il libro contiene diversi nuovi capitoli dedicati alle nuove tecniche di RL, tra cui RL distribuzionale, apprendimento per imitazione, RL inverso e meta RL. Imparerete a sfruttare le baseline stabili, un miglioramento della libreria di baseline di OpenAI, per implementare senza problemi gli algoritmi di RL più diffusi. Il libro si conclude con una panoramica di approcci promettenti come il meta-apprendimento e gli agenti aumentati dall'immaginazione nella ricerca.

Alla fine, sarete in grado di utilizzare efficacemente la RL e la deep RL nei vostri progetti reali.

Che cosa imparerete?

⬤ Comprendere i concetti fondamentali della RL, comprese le metodologie, la matematica e il codice.

⬤ Addestrare un agente a risolvere Blackjack, FrozenLake e molti altri problemi utilizzando OpenAI Gym.

⬤ Addestrare un agente a giocare a Ms Pac-Man utilizzando una rete Deep Q.

⬤ Apprendere i metodi basati sulle politiche, sui valori e sulla critica degli attori.

⬤ Padroneggiare la matematica alla base di DDPG, TD3, TRPO, PPO e molti altri.

⬤ Esplorare nuove strade come la RL distributiva, la meta RL e la RL inversa.

⬤ Usare le linee di base stabili per addestrare un agente a camminare e a giocare ai giochi Atari.

A chi è rivolto questo libro?

Se siete sviluppatori di machine learning con poca o nessuna esperienza con le reti neurali interessati all'intelligenza artificiale e volete imparare l'apprendimento per rinforzo da zero, questo libro fa per voi.

È richiesta una familiarità di base con l'algebra lineare, il calcolo e il linguaggio di programmazione Python. Una certa esperienza con TensorFlow sarebbe un vantaggio.