Comprendre la normalisation et la dénormalisation dans le Deep Learning

Dans le contexte de l'apprentissage profond, la normalisation fait référence au processus de redimensionnement des données d'entrée pour avoir une moyenne de 0 et un écart type de 1. Ceci est généralement effectué pour empêcher le modèle d'être sensible à l'échelle des données d'entrée, et pour améliorer la généralisation du modèle à de nouvelles données.

La dénormalisation est le processus d'annulation de la transformation de normalisation qui a été appliquée aux données d'entrée. Cela se fait généralement après le passage en avant du modèle, de sorte que la sortie du modèle soit à la même échelle que l'entrée.

Par exemple, si nous avons un modèle qui prend une image en entrée et génère une carte de caractéristiques, nous pourrions appliquez la normalisation à l’image d’entrée en soustrayant la moyenne et en divisant par l’écart type. Après le passage en avant, nous dénormaliserions alors la carte des caractéristiques de sortie en ajoutant la moyenne et en multipliant par l'écart type. Cela garantit que la carte des caractéristiques de sortie a la même échelle que l'image d'entrée.

La dénormalisation est une étape importante dans de nombreux pipelines d'apprentissage profond, car elle nous permet de comparer la sortie du modèle à l'entrée et de visualiser les caractéristiques apprises par le modèle. modèle. Cela nous permet également d'utiliser les mêmes données d'entrée pour plusieurs modèles, sans avoir à nous soucier de l'ampleur de l'entrée affectant les résultats.