Analisi del rimpianto in problemi di bandito multiarmato stocastico e non stocastico

Recensioni dei lettori

Attualmente non ci sono recensioni dei lettori. La valutazione si basa su 2 voti.

Titolo originale:

Regret Analysis of Stochastic and Nonstochastic Multi-Armed Bandit Problems

Contenuto del libro:

Un problema del bandito a più braccia - o, semplicemente, un problema del bandito - è un problema di allocazione sequenziale definito da un insieme di azioni. A ogni passo temporale, una risorsa unitaria viene assegnata a un'azione e si ottiene un payoff osservabile.

L'obiettivo è massimizzare il payoff totale ottenuto in una sequenza di allocazioni. Il nome bandito si riferisce al termine colloquiale per indicare una slot machine (un "bandito con un braccio solo" nel gergo americano). In un casinò, un problema di allocazione sequenziale si ottiene quando il giocatore si trova di fronte a molte slot machine contemporaneamente (un "bandito a più braccia") e deve scegliere ripetutamente dove inserire la moneta successiva.

I problemi del bandito a più braccia sono gli esempi più elementari di problemi decisionali sequenziali con un trade-off di esplorazione-sfruttamento. Si tratta dell'equilibrio tra il rimanere con l'opzione che ha dato i maggiori guadagni in passato e l'esplorare nuove opzioni che potrebbero dare guadagni più alti in futuro.

Sebbene lo studio dei problemi di bandit risalga agli anni '30, i trade-off di esplorazione-sfruttamento si presentano in molte applicazioni moderne, come il posizionamento degli annunci, l'ottimizzazione dei siti web e l'instradamento dei pacchetti. Matematicamente, un bandito a più braccia è definito dal processo di payoff associato a ciascuna opzione. In questo libro, l'attenzione si concentra su due casi estremi in cui l'analisi del rimpianto è particolarmente semplice ed elegante: payoff indipendenti e identicamente distribuiti e payoff avversari.

Oltre all'impostazione di base di azioni finitamente numerose, analizza anche alcune delle più importanti varianti ed estensioni, come il modello di bandito contestuale. Questa monografia è un riferimento ideale per studenti e ricercatori interessati ai problemi di bandit.