Controlli stocastici: Sistemi hamiltoniani ed equazioni Hjb

Recensioni dei lettori

Il libro “Stochastic Control” di Yong e Zhou offre un'introduzione approfondita alla teoria del controllo ottimale stocastico, collegando efficacemente vari concetti chiave con un'attenzione particolare alle applicazioni teoriche e pratiche. Il libro è apprezzato per la sua leggibilità e per gli ampi esempi, ma si segnala per una certa complessità nella notazione e per la presenza di errori di battitura.

Copertura completa della teoria del controllo ottimale stocastico, molti esempi pratici, presentazione leggibile, ritmo adatto a lettori con qualche conoscenza pregressa.

La notazione pesante può essere pesante, la presenza di refusi, presuppone una familiarità con concetti matematici avanzati.

(basato su 4 recensioni dei lettori)

Titolo originale:

Stochastic Controls: Hamiltonian Systems and Hjb Equations

Contenuto del libro:

Come è noto, il principio del massimo di Pontryagin e la programmazione dinamica di Bellman sono i due approcci principali e più comunemente utilizzati per risolvere problemi di controllo ottimale stocastico.

* Un fenomeno interessante che si può osservare in letteratura è che questi due approcci sono stati sviluppati separatamente e indipendentemente. Poiché entrambi i metodi vengono utilizzati per studiare gli stessi problemi, una domanda naturale che ci si pone è la seguente: (D) Qual è la relazione tra il principio del massimo e la programmazione dinamica nei controlli ottimali stocastici? Esistevano alcune ricerche (prima degli anni '80) sulla relazione tra questi due principi.

Tuttavia, i risultati erano solitamente enunciati in termini euristici e dimostrati sotto ipotesi piuttosto restrittive, che nella maggior parte dei casi non erano soddisfatte. Nell'enunciazione di un principio di massimo di tipo Pontryagin è presente un'equazione di adjoint, che è un'equazione differenziale ordinaria (ODE) nel caso deterministico (finito-dimensionale) e un'equazione differenziale stocastica (SDE) nel caso stocastico. Il sistema costituito dall'equazione adjoint, dall'equazione di stato originale e dalla condizione di massimo viene definito sistema hamiltoniano (esteso).

D'altra parte, nella programmazione dinamica di Bellman, esiste un'equazione differenziale parziale (PDE), del primo ordine nel caso deterministico (finito-dimensionale) e del secondo ordine nel caso stocastico. Questa è nota come equazione di Hamilton-Jacobi-Bellman (HJB).