Memahami Normalisasi dan Unnormalisasi dalam Deep Learning

Dalam konteks pembelajaran mendalam, normalisasi mengacu pada proses penskalaan ulang data masukan agar memiliki rata-rata 0 dan deviasi standar 1. Hal ini biasanya dilakukan untuk mencegah model menjadi sensitif terhadap skala data masukan, dan untuk meningkatkan generalisasi model ke data baru.

Unnormalizing adalah proses membatalkan transformasi normalisasi yang diterapkan pada data masukan. Hal ini biasanya dilakukan setelah penerusan model, sehingga keluaran model memiliki skala yang sama dengan masukan.

Misalnya, jika kita memiliki model yang mengambil gambar sebagai masukan dan mengeluarkan peta fitur, kita mungkin terapkan normalisasi pada gambar masukan dengan mengurangkan mean dan membaginya dengan standar deviasi. Setelah forward pass, kami kemudian akan membatalkan normalisasi peta fitur keluaran dengan menambahkan mean dan mengalikannya dengan deviasi standar. Hal ini memastikan bahwa peta fitur keluaran memiliki skala yang sama dengan gambar masukan.

Pembatalan normalisasi adalah langkah penting dalam banyak alur pembelajaran mendalam, karena memungkinkan kita membandingkan keluaran model dengan masukan, dan memvisualisasikan fitur-fitur yang dipelajari oleh model. Hal ini juga memungkinkan kita menggunakan data masukan yang sama untuk beberapa model, tanpa harus khawatir tentang skala masukan yang mempengaruhi hasil.