Apprendimento per rinforzo, seconda edizione: Un'introduzione

Recensioni dei lettori

Il libro è ampiamente considerato una risorsa essenziale per gli appassionati e i professionisti dell'apprendimento per rinforzo (RL). È lodato per la sua profondità, la chiarezza, gli esercizi ben strutturati e l'approccio pedagogico, che lo rendono accessibile anche a chi ha un background matematico moderato. Tuttavia, le critiche si concentrano sulla qualità di stampa incoerente, in particolare nelle edizioni che non provengono direttamente dalla MIT Press, e sulle preoccupazioni relative alla sua idoneità per i principianti assoluti del settore.

⬤ Copertura completa dell'apprendimento per rinforzo
⬤ esercizi ben strutturati e rigorosi
⬤ spiegazioni chiare
⬤ buona qualità di stampa nelle copie vendute direttamente dalla MIT Press
⬤ utile per vari livelli di competenza (in particolare per coloro che hanno qualche conoscenza precedente)
⬤ include collegamenti interdisciplinari con la psicologia e le neuroscienze.

⬤ Qualità di stampa incoerente, soprattutto presso venditori terzi
⬤ non adatto come testo introduttivo per principianti assoluti
⬤ alcune sezioni sono matematicamente intensive
⬤ i contenuti storici possono essere ritenuti superflui da alcuni lettori
⬤ piccoli errori editoriali segnalati in alcune copie.

(basato su 115 recensioni dei lettori)

Titolo originale:

Reinforcement Learning, Second Edition: An Introduction

Contenuto del libro:

La nuova edizione, notevolmente ampliata e aggiornata, di un testo molto diffuso sull'apprendimento per rinforzo, una delle aree di ricerca più attive dell'intelligenza artificiale.

L'apprendimento per rinforzo, una delle aree di ricerca più attive nell'ambito dell'intelligenza artificiale, è un approccio computazionale all'apprendimento in cui un agente cerca di massimizzare la quantità totale di ricompensa che riceve mentre interagisce con un ambiente complesso e incerto. In Reinforcement Learning, Richard Sutton e Andrew Barto forniscono un resoconto chiaro e semplice delle idee chiave e degli algoritmi di questo campo. Questa seconda edizione è stata notevolmente ampliata e aggiornata, presentando nuovi argomenti e aggiornando la copertura di altri argomenti.

Come la prima edizione, anche questa seconda edizione si concentra sugli algoritmi principali di apprendimento online, con il materiale più matematico racchiuso in riquadri ombreggiati. La Parte I copre il più possibile l'apprendimento per rinforzo senza andare oltre il caso tabellare per il quale è possibile trovare soluzioni esatte. Molti algoritmi presentati in questa parte sono nuovi per la seconda edizione, tra cui UCB, Expected Sarsa e Double Learning. La Parte II estende queste idee all'approssimazione delle funzioni, con nuove sezioni su argomenti quali le reti neurali artificiali e la base di Fourier, e offre una trattazione ampliata dell'apprendimento off-policy e dei metodi policy-gradient. La Parte III presenta nuovi capitoli sulle relazioni dell'apprendimento per rinforzo con la psicologia e le neuroscienze, oltre a un capitolo aggiornato sui casi di studio, tra cui AlphaGo e AlphaGo Zero, il gioco Atari e la strategia di scommessa di IBM Watson. Il capitolo finale discute i futuri impatti sociali dell'apprendimento per rinforzo.