Pochopení normalizace a nenormalizace v hlubokém učení

V kontextu hlubokého učení se normalizace týká procesu změny měřítka vstupních dat tak, aby měla průměr 0 a směrodatnou odchylku 1. Obvykle se tak děje, aby se zabránilo tomu, že model bude citlivý na měřítko vstupních dat, a zlepšit zobecnění modelu na nová data.……Unnormalizace je proces zrušení normalizační transformace, která byla aplikována na vstupní data. To se obvykle provádí po dopředném průchodu modelu, takže výstup modelu je ve stejném měřítku jako vstup.…… Například, pokud máme model, který přijímá obrázek jako vstup a vydává mapu prvků, můžeme aplikujte normalizaci na vstupní obrázek odečtením průměru a dělením směrodatnou odchylkou. Po dopředném průchodu bychom pak denormalizovali výstupní mapu vlastností přidáním průměru a vynásobením směrodatnou odchylkou. Tím je zajištěno, že výstupní mapa prvků má stejné měřítko jako vstupní obrázek.

Nenormalizace je důležitým krokem v mnoha kanálech hlubokého učení, protože nám umožňuje porovnat výstup modelu se vstupem a vizualizovat vlastnosti naučené Modelka. To nám také umožňuje používat stejná vstupní data pro více modelů, aniž bychom se museli starat o to, že rozsah vstupu ovlivní výsledky.