Förstå normalisering och onormalisering i djupinlärning

I samband med djupinlärning avser normalisering processen att skala om indata till att ha ett medelvärde på 0 och en standardavvikelse på 1. Detta görs vanligtvis för att förhindra att modellen är känslig för skalan på indata, och att förbättra generaliseringen av modellen till nya data.

Unnormalisering är processen att ångra normaliseringstransformationen som tillämpades på indata. Detta görs vanligtvis efter framåtpassningen av modellen, så att utdata från modellen är i samma skala som indata.

Om vi till exempel har en modell som tar en bild som indata och matar ut en funktionskarta, kan vi kanske tillämpa normalisering på ingångsbilden genom att subtrahera medelvärdet och dividera med standardavvikelsen. Efter det framåtgående passet skulle vi sedan avnormalisera utdatakartan genom att addera medelvärdet och multiplicera med standardavvikelsen. Detta säkerställer att utdatakartan har samma skala som ingångsbilden.

Unnormalisering är ett viktigt steg i många pipelines för djupinlärning, eftersom det gör det möjligt för oss att jämföra utdata från modellen med indata och att visualisera funktionerna som lärts av modell. Det tillåter oss också att använda samma indata för flera modeller, utan att behöva oroa oss för omfattningen av inmatningen som påverkar resultaten.