Înțelegerea normalizării și a nenormalizării în deep learning

În contextul învățării profunde, normalizarea se referă la procesul de redimensionare a datelor de intrare pentru a avea o medie de 0 și o abatere standard de 1. Acest lucru se face de obicei pentru a preveni ca modelul să fie sensibil la scara datelor de intrare și pentru a îmbunătăți generalizarea modelului la date noi.

Nenormalizarea este procesul de anulare a transformării de normalizare care a fost aplicată datelor de intrare. Acest lucru se face de obicei după trecerea înainte a modelului, astfel încât rezultatul modelului să fie la aceeași scară cu intrarea.

De exemplu, dacă avem un model care preia o imagine ca intrare și scoate o hartă de caracteristici, am putea aplicați normalizarea imaginii de intrare prin scăderea mediei și împărțirea la abaterea standard. După trecerea înainte, vom denormaliza harta caracteristicilor de ieșire prin adăugarea mediei și înmulțirea cu abaterea standard. Acest lucru asigură că harta caracteristicilor de ieșire are aceeași scară ca și imaginea de intrare.

Nenormalizarea este un pas important în multe conducte de învățare profundă, deoarece ne permite să comparăm rezultatul modelului cu intrarea și să vizualizăm caracteristicile învățate de către model. De asemenea, ne permite să folosim aceleași date de intrare pentru mai multe modele, fără a fi nevoie să ne facem griji cu privire la scara intrării care afectează rezultatele.