Comprendere la normalizzazione e la nonnormalizzazione nel deep learning

Nel contesto del deep learning, la normalizzazione si riferisce al processo di riscalamento dei dati di input per avere una media pari a 0 e una deviazione standard pari a 1. Ciò viene in genere fatto per evitare che il modello sia sensibile alla scala dei dati di input e per migliorare la generalizzazione del modello a nuovi dati.

La denormalizzazione è il processo di annullamento della trasformazione di normalizzazione applicata ai dati di input. Questo viene in genere fatto dopo il passaggio in avanti del modello, in modo che l'output del modello abbia la stessa scala dell'input.

Ad esempio, se abbiamo un modello che prende un'immagine come input e restituisce una mappa delle caratteristiche, potremmo applicare la normalizzazione all'immagine di input sottraendo la media e dividendo per la deviazione standard. Dopo il passaggio in avanti, annormalizzeremo la mappa delle caratteristiche di output aggiungendo la media e moltiplicando per la deviazione standard. Ciò garantisce che la mappa delle funzionalità di output abbia la stessa scala dell'immagine di input.

La denormalizzazione è un passaggio importante in molte pipeline di deep learning, poiché ci consente di confrontare l'output del modello con l'input e di visualizzare le funzionalità apprese dal modello. modello. Ci consente inoltre di utilizzare gli stessi dati di input per più modelli, senza doverci preoccupare della portata dell'input che influisce sui risultati.