Ottimizzazione distribuita e apprendimento statistico attraverso il metodo dei moltiplicatori a direzione alternata

Titolo originale:

Distributed Optimization and Statistical Learning Via the Alternating Direction Method of Multipliers

Contenuto del libro:

Molti problemi di recente interesse nella statistica e nell'apprendimento automatico possono essere posti nel quadro dell'ottimizzazione convessa.

A causa dell'esplosione delle dimensioni e della complessità dei moderni insiemi di dati, è sempre più importante essere in grado di risolvere problemi con un numero molto elevato di caratteristiche o esempi di addestramento. Di conseguenza, sia la raccolta o l'archiviazione decentralizzata di questi insiemi di dati sia i metodi di soluzione distribuita che li accompagnano sono necessari o almeno altamente desiderabili.

Distributed Optimization and Statistical Learning via the Alternating Direction Method of Multipliers (Ottimizzazione distribuita e apprendimento statistico tramite il metodo dei moltiplicatori a direzione alternata) sostiene che il metodo dei moltiplicatori a direzione alternata è adatto all'ottimizzazione convessa distribuita e, in particolare, ai problemi su larga scala che si presentano in statistica, nell'apprendimento automatico e nelle aree correlate. Il metodo è stato sviluppato negli anni '70, con radici negli anni '50, ed è equivalente o strettamente correlato a molti altri algoritmi, come la decomposizione duale, il metodo dei moltiplicatori, la suddivisione di Douglas-Rachford, il metodo delle inversioni parziali di Spingarn, le proiezioni alternate di Dykstra, gli algoritmi iterativi di Bregman per ℓ. 1, i metodi prossimali e altri.

Dopo una breve panoramica sulla teoria e sulla storia dell'algoritmo, vengono discusse le applicazioni a un'ampia varietà di problemi statistici e di apprendimento automatico di recente interesse, tra cui il lazo, la regressione logistica rada, l'inseguimento delle basi, la selezione della covarianza, le macchine vettoriali di supporto e molti altri. Vengono inoltre discusse l'ottimizzazione distribuita generale, le estensioni all'ambiente non convesso e l'implementazione efficiente, compresi alcuni dettagli sulle implementazioni distribuite MPI e Hadoop MapReduce.