Apprendimento di rinforzo basato su modelli: Un'indagine

Titolo originale:

Model-based Reinforcement Learning: A Survey

Contenuto del libro:

Il processo decisionale sequenziale, comunemente formalizzato come ottimizzazione del processo decisionale di Markov (MDP), è una sfida importante nell'intelligenza artificiale. Due approcci chiave a questo problema sono l'apprendimento per rinforzo (RL) e la pianificazione. Questa monografia analizza un'integrazione di entrambi i campi, meglio nota come apprendimento per rinforzo basato su modelli.

L'RL basato su modelli ha due fasi principali: l'apprendimento di modelli dinamici e l'integrazione pianificazione-apprendimento. In questa rassegna completa dell'argomento, gli autori trattano innanzitutto l'apprendimento dinamico dei modelli, includendo sfide come la gestione della stocasticità, dell'incertezza, dell'osservabilità parziale e dell'astrazione temporale. Presentano poi una categorizzazione sistematica dell'integrazione pianificazione-apprendimento, includendo aspetti quali: dove iniziare la pianificazione, quali budget destinare alla pianificazione e alla raccolta di dati reali, come pianificare e come integrare la pianificazione nel ciclo di apprendimento e azione.

In conclusione, gli autori discutono l'RL implicito basato su modelli come alternativa end-to-end per l'apprendimento e la pianificazione di modelli, e trattano i potenziali vantaggi dell'RL basato su modelli. Lungo il percorso, gli autori tracciano collegamenti con diversi campi di RL correlati, tra cui l'RL gerarchico e l'apprendimento per trasferimento.

Questa monografia contiene un'ampia panoramica concettuale sulla combinazione di pianificazione e apprendimento per l'ottimizzazione del processo decisionale di Markov. Fornisce un'introduzione chiara e completa all'argomento sia per gli studenti che per i ricercatori.