Memahami Normalisasi dan Tidak Normalisasi dalam Pembelajaran Mendalam

Dalam konteks pembelajaran mendalam, normalisasi merujuk kepada proses penskalaan semula data input untuk mempunyai min 0 dan sisihan piawai 1. Ini biasanya dilakukan untuk mengelakkan model daripada sensitif terhadap skala data input, dan untuk menambah baik generalisasi model kepada data baharu.

Unnormalizing ialah proses membatalkan transformasi normalisasi yang digunakan pada data input. Ini biasanya dilakukan selepas hantaran hadapan model, supaya output model berada dalam skala yang sama dengan input.

Sebagai contoh, jika kita mempunyai model yang mengambil imej sebagai input dan mengeluarkan peta ciri, kita mungkin gunakan penormalan pada imej input dengan menolak min dan membahagi dengan sisihan piawai. Selepas hantaran ke hadapan, kami kemudiannya akan menyahnormalkan peta ciri output dengan menambah min dan mendarab dengan sisihan piawai. Ini memastikan bahawa peta ciri output mempunyai skala yang sama dengan imej input.

Tidak normal merupakan langkah penting dalam banyak saluran pembelajaran mendalam, kerana ia membolehkan kita membandingkan output model dengan input, dan untuk menggambarkan ciri yang dipelajari oleh model. Ia juga membolehkan kami menggunakan data input yang sama untuk berbilang model, tanpa perlu risau tentang skala input yang mempengaruhi keputusan.