Apprendimento per rinforzo e ottimizzazione stocastica: Un quadro unificato per le decisioni sequenziali

Recensioni dei lettori

Il libro si caratterizza come una guida completa e approfondita alla programmazione dinamica stocastica e all'apprendimento per rinforzo, adatta ai professionisti della ricerca operativa. Riesce a collegare vari campi, tra cui l'apprendimento per rinforzo e la teoria del controllo, fornendo al contempo un quadro unificato per il processo decisionale sequenziale. Tuttavia, soffre di numerosi errori di battitura e di uno stile di scrittura che alcuni potrebbero trovare contorto.

⬤ Copertura completa dei concetti del processo decisionale sequenziale.
⬤ Ben scritto e accessibile a lettori di diversa provenienza.
⬤ Collega efficacemente campi diversi, offrendo spunti preziosi.
⬤ Fornisce un quadro unificato per le diverse comunità coinvolte nelle decisioni sequenziali.
⬤ Esercizi utili e un buon riferimento per i professionisti.

⬤ Alto numero di refusi e scelte di notazione dubbie.
⬤ Mancano le derivazioni di alcuni risultati matematici, il che richiede ai lettori di verificare o rideterminare da soli.
⬤ Lo stile di scrittura può risultare contorto per alcuni, rendendo la lettura noiosa.
⬤ Il contenuto è fortemente incentrato sulla ricerca operativa, il che potrebbe allontanare coloro che provengono da contesti diversi, come l'apprendimento automatico.

(basato su 12 recensioni dei lettori)

Titolo originale:

Reinforcement Learning and Stochastic Optimization: A Unified Framework for Sequential Decisions

Contenuto del libro:

APPRENDIMENTO PER RINFORZO E OTTIMIZZAZIONE STOCASTICA

Sgombrare la giungla dell'ottimizzazione stocastica

I problemi di decisione sequenziale, che consistono in "decisione, informazione, decisione, informazione", sono onnipresenti e abbracciano praticamente ogni attività umana, dalle applicazioni commerciali, alla salute (salute personale e pubblica e decisioni mediche), all'energia, alle scienze, a tutti i campi dell'ingegneria, alla finanza e al commercio elettronico. La diversità delle applicazioni ha attirato l'attenzione di almeno 15 campi di ricerca distinti, che utilizzano otto sistemi di notazione distinti e che hanno prodotto una vasta gamma di strumenti analitici. Un effetto secondario è che i potenti strumenti sviluppati in una comunità possono essere sconosciuti ad altre comunità.

Reinforcement Learning and Stochastic Optimization offre un unico quadro canonico che può modellare qualsiasi problema decisionale sequenziale utilizzando cinque componenti fondamentali: variabili di stato, variabili decisionali, variabili informative esogene, funzione di transizione e funzione obiettivo. Questo libro evidenzia dodici tipi di incertezza che possono entrare in qualsiasi modello e riunisce i diversi metodi per prendere decisioni, noti come politiche, in quattro classi fondamentali che abbracciano tutti i metodi suggeriti nella letteratura accademica o utilizzati nella pratica.

Reinforcement Learning and Stochastic Optimization è il primo libro a fornire una trattazione equilibrata dei diversi metodi per modellare e risolvere problemi decisionali sequenziali, seguendo lo stile utilizzato dalla maggior parte dei libri sull'apprendimento automatico, l'ottimizzazione e la simulazione. La presentazione è pensata per lettori con un corso di probabilità e statistica e un interesse per la modellazione e le applicazioni. La programmazione lineare viene occasionalmente utilizzata per classi di problemi specifici. Il libro è pensato per i lettori che si avvicinano per la prima volta a questo campo, ma anche per coloro che hanno una certa esperienza nel campo dell'ottimizzazione in condizioni di incertezza.

In tutto il libro, i lettori troveranno riferimenti a oltre 100 applicazioni diverse, che spaziano da problemi di apprendimento puro, a problemi dinamici di allocazione delle risorse, a problemi generali dipendenti dallo stato e a problemi ibridi di apprendimento/allocazione delle risorse, come quelli emersi durante la pandemia COVID. Ci sono 370 esercizi, organizzati in sette gruppi, che vanno dalle domande di ripasso, alla modellazione, al calcolo, alla risoluzione di problemi, alla teoria, agli esercizi di programmazione e a un "problema diario" che il lettore sceglie all'inizio del libro e che viene utilizzato come base per le domande nel resto del libro.