Hiểu về chuẩn hóa và không chuẩn hóa trong Deep Learning

Trong bối cảnh học sâu, chuẩn hóa đề cập đến quá trình thay đổi tỷ lệ dữ liệu đầu vào để có giá trị trung bình bằng 0 và độ lệch chuẩn là 1. Điều này thường được thực hiện để ngăn mô hình không bị nhạy cảm với quy mô của dữ liệu đầu vào và để cải thiện khả năng khái quát hóa của mô hình thành dữ liệu mới.

Không chuẩn hóa là quá trình hoàn tác phép biến đổi chuẩn hóa đã được áp dụng cho dữ liệu đầu vào. Điều này thường được thực hiện sau quá trình chuyển tiếp mô hình, sao cho đầu ra của mô hình có cùng tỷ lệ với đầu vào.

Ví dụ: nếu chúng ta có một mô hình lấy hình ảnh làm đầu vào và xuất ra bản đồ đặc điểm, chúng ta có thể áp dụng chuẩn hóa cho hình ảnh đầu vào bằng cách trừ giá trị trung bình và chia cho độ lệch chuẩn. Sau khi chuyển tiếp, chúng tôi sẽ không chuẩn hóa bản đồ tính năng đầu ra bằng cách cộng giá trị trung bình và nhân với độ lệch chuẩn. Điều này đảm bảo rằng bản đồ tính năng đầu ra có cùng tỷ lệ với hình ảnh đầu vào.

Không chuẩn hóa là một bước quan trọng trong nhiều quy trình học sâu, vì nó cho phép chúng ta so sánh đầu ra của mô hình với đầu vào và trực quan hóa các tính năng mà mô hình đã học người mẫu. Nó cũng cho phép chúng ta sử dụng cùng một dữ liệu đầu vào cho nhiều mô hình mà không phải lo lắng về việc quy mô đầu vào ảnh hưởng đến kết quả.