Apprendimento di rinforzo sensibile al rischio attraverso la ricerca di gradienti di politica

Titolo originale:

Risk-Sensitive Reinforcement Learning via Policy Gradient Search

Contenuto del libro:

L'apprendimento per rinforzo (RL) è uno dei pilastri fondamentali dell'intelligenza artificiale e dell'apprendimento automatico. Una considerazione importante in qualsiasi problema di ottimizzazione o controllo è la nozione di rischio, ma la sua incorporazione nell'RL è stata uno sviluppo abbastanza recente. Questa monografia analizza la ricerca sulla RL sensibile al rischio che utilizza la ricerca del gradiente della politica.

Gli autori analizzano alcuni dei lavori recenti in quest'area, in particolare quando la ricerca del gradiente di policy è l'approccio risolutivo. Nel primo scenario di RL sensibile al rischio, gli autori esaminano le misure di rischio più diffuse, basate sulla varianza, sul valore condizionale a rischio e sui vincoli di probabilità, e presentano un modello di algoritmo di RL sensibile al rischio basato sul gradiente di policy che utilizza una formulazione lagrangiana. Per l'impostazione in cui il rischio è incorporato direttamente nella funzione obiettivo, si considerano una formulazione di utilità esponenziale, la teoria delle prospettive cumulative e misure di rischio coerenti.

Gli autori hanno reso il testo completamente autonomo, ma anche organizzato in modo da consentire ai lettori esperti di saltare i capitoli di base. Si tratta di una guida completa per studenti e ricercatori che lavorano su questo aspetto dell'apprendimento automatico.