Розуміння нормалізації та ненормалізації в глибокому навчанні

У контексті глибокого навчання нормалізація відноситься до процесу зміни масштабу вхідних даних, щоб отримати середнє значення 0 і стандартне відхилення 1. Це зазвичай робиться, щоб запобігти чутливості моделі до масштабу вхідних даних і щоб покращити узагальнення моделі для нових даних.

Ненормалізація – це процес скасування нормалізаційного перетворення, застосованого до вхідних даних. Зазвичай це робиться після прямого проходу моделі, щоб результат моделі був у тому ж масштабі, що й вхід.

Наприклад, якщо у нас є модель, яка приймає зображення як вхідні дані та виводить карту функцій, ми можемо застосувати нормалізацію до вхідного зображення шляхом віднімання середнього значення та ділення на стандартне відхилення. Після проходу вперед ми б денормалізували вихідну карту ознак, додавши середнє значення та помноживши на стандартне відхилення. Це гарантує, що вихідна карта функцій має такий самий масштаб, як і вхідне зображення.

Скасування нормалізації є важливим кроком у багатьох конвеєрах глибокого навчання, оскільки це дозволяє нам порівнювати вихідні дані моделі з вхідними та візуалізувати функції, отримані за допомогою модель. Це також дозволяє нам використовувати ті самі вхідні дані для кількох моделей, не хвилюючись про масштаб вхідних даних, які впливають на результати.