Apprendimento profondo per il restauro e la super-risoluzione di immagini e video

Titolo originale:

Deep Learning for Image/Video Restoration and Super-resolution

Contenuto del libro:

In questa monografia viene presentata una panoramica dei recenti sviluppi e dello stato dell'arte nel restauro di immagini/video e nella super-risoluzione (SR) utilizzando il deep learning. L'apprendimento profondo ha avuto un impatto significativo non solo sulla visione artificiale e sull'elaborazione del linguaggio naturale, ma anche su problemi classici di elaborazione del segnale come il restauro e la super-risoluzione di immagini/video e la compressione. I recenti progressi nelle architetture neurali hanno portato a miglioramenti significativi nelle prestazioni del restauro e della SR di immagini/video appresi. Un importante vantaggio degli approcci di deep learning guidati dai dati è che i modelli neurali possono essere ottimizzati per qualsiasi funzione di perdita differenziabile, comprese le funzioni di perdita percettive visive, che portano al restauro video percettivo e alla SR, che non possono essere facilmente gestiti dagli approcci tradizionali basati su modelli.

La pubblicazione inizia con una descrizione del problema e una breve discussione sulle soluzioni tradizionali e su quelle basate sui dati. In seguito, vengono presi in considerazione i recenti progressi nelle architetture neurali e vengono discusse le funzioni di perdita e i criteri di valutazione per il restauro di immagini/video e la SR. Si considerano anche il restauro delle immagini e la SR appresi, come l'apprendimento di una mappatura dallo spazio delle immagini degradate a quello delle immagini ideali, basata sul teorema dell'approssimazione universale, o di un modello generativo che cattura la distribuzione di probabilità delle immagini ideali. Sono inclusi anche problemi pratici di applicazione dell'addestramento supervisionato al restauro e alla SR nella vita reale, nonché i modelli di soluzione.

Nella sezione dedicata alla SR video appresa, vengono trattati gli approcci per sfruttare le correlazioni temporali nell'elaborazione dei video appresi, quindi viene discussa l'ottimizzazione percettiva dei parametri della rete per ottenere texture e movimento naturali. Una discussione comparativa dei vari approcci conclude la pubblicazione.