Compreendendo a normalização e a desnormalização no aprendizado profundo

No contexto de aprendizagem profunda, a normalização refere-se ao processo de redimensionamento dos dados de entrada para ter uma média de 0 e um desvio padrão de 1. Isto normalmente é feito para evitar que o modelo seja sensível à escala dos dados de entrada, e para melhorar a generalização do modelo para novos dados.

Desnormalizar é o processo de desfazer a transformação de normalização que foi aplicada aos dados de entrada. Isso normalmente é feito após a passagem direta do modelo, de modo que a saída do modelo esteja na mesma escala que a entrada.

Por exemplo, se tivermos um modelo que recebe uma imagem como entrada e gera um mapa de recursos, podemos aplique a normalização à imagem de entrada subtraindo a média e dividindo pelo desvio padrão. Após a passagem direta, desnormalizaríamos o mapa de recursos de saída adicionando a média e multiplicando pelo desvio padrão. Isso garante que o mapa de recursos de saída tenha a mesma escala da imagem de entrada.

A desnormalização é uma etapa importante em muitos pipelines de aprendizado profundo, pois nos permite comparar a saída do modelo com a entrada e visualizar os recursos aprendidos pelo modelo. Também nos permite usar os mesmos dados de entrada para vários modelos, sem ter que nos preocupar com a escala da entrada que afeta os resultados.