Titolo originale:
Gradient Descent, Stochastic Optimization, and Other Tales
Contenuto del libro:
L'obiettivo di questo libro è sfatare e dissipare la magia che si cela dietro gli ottimizzatori black-box e gli ottimizzatori stocastici. Si propone di costruire una solida base su come e perché le tecniche funzionano.
Questo manoscritto cristallizza questa conoscenza derivando da semplici intuizioni la matematica che sta dietro alle strategie. Questo libro non rinuncia ad affrontare gli aspetti formali e informali dei metodi di discesa del gradiente e di ottimizzazione stocastica. In questo modo, spera di fornire ai lettori una comprensione più approfondita di queste tecniche, nonché del quando, del come e del perché dell'applicazione di questi algoritmi.
La discesa del gradiente è uno degli algoritmi più popolari per eseguire l'ottimizzazione e di gran lunga il modo più comune per ottimizzare i compiti di apprendimento automatico. La sua versione stocastica ha ricevuto attenzione negli ultimi anni, in particolare per l'ottimizzazione delle reti neurali profonde.
Nelle reti neurali profonde, il gradiente seguito da un singolo campione o da un gruppo di campioni viene impiegato per risparmiare risorse computazionali e per uscire dai punti di sella. Nel 1951, Robbins e Monro pubblicarono A stochastic approximation method, una delle prime trattazioni moderne sull'ottimizzazione stocastica che stima i gradienti locali con un nuovo lotto di campioni.
Oggi l'ottimizzazione stocastica è diventata una tecnologia fondamentale nell'apprendimento automatico, soprattutto grazie allo sviluppo dell'algoritmo di back propagation per l'adattamento di una rete neurale. L'unico obiettivo di questo articolo è fornire un'introduzione autonoma ai concetti e agli strumenti matematici della discesa del gradiente e dell'ottimizzazione stocastica.
