Понимание нормализации и ненормализации в глубоком обучении

В контексте глубокого обучения нормализация относится к процессу изменения масштаба входных данных, чтобы среднее значение было равно 0, а стандартное отклонение равно 1. Обычно это делается для того, чтобы модель не была чувствительна к масштабу входных данных, и чтобы улучшить обобщение модели на новые данные.

Ненормализация — это процесс отмены преобразования нормализации, примененного к входным данным. Обычно это делается после прямого прохода модели, чтобы выходные данные модели были в том же масштабе, что и входные. Например, если у нас есть модель, которая принимает изображение в качестве входных данных и выводит карту объектов, мы могли бы примените нормализацию к входному изображению, вычитая среднее значение и разделив его на стандартное отклонение. После прямого прохода мы затем денормализовали бы выходную карту признаков, добавив среднее значение и умножив его на стандартное отклонение. Это гарантирует, что выходная карта объектов имеет тот же масштаб, что и входное изображение.

Ненормализация является важным шагом во многих конвейерах глубокого обучения, поскольку она позволяет нам сравнивать выходные данные модели с входными и визуализировать функции, изученные с помощью модель. Это также позволяет нам использовать одни и те же входные данные для нескольких моделей, не беспокоясь о том, что масштаб входных данных повлияет на результаты.