Hiểu một cách đa dạng: Kỹ thuật chính quy hóa mạnh mẽ cho các mô hình học máy

Variformly là một thuật ngữ được sử dụng trong bối cảnh học máy và mạng lưới thần kinh. Nó đề cập đến một loại kỹ thuật chính quy hóa được sử dụng để ngăn chặn việc trang bị quá mức trong mô hình.

Overfitting xảy ra khi một mô hình quá phức tạp và tìm hiểu tiếng ồn trong dữ liệu huấn luyện, thay vì các mẫu cơ bản. Điều này có thể dẫn đến hiệu suất khái quát hóa kém trên dữ liệu mới, chưa được nhìn thấy. Các kỹ thuật chính quy hóa, chẳng hạn như chính quy hóa L1 và L2, được sử dụng để xử phạt các trọng số lớn và ngăn chặn việc trang bị quá mức.

Variformly là một loại chính quy hóa cụ thể dựa trên ý tưởng "chính quy hóa dựa trên phương sai". Ý tưởng là thêm một số hạng vào hàm mất mát tỷ lệ thuận với phương sai của các dự đoán của mô hình. Thuật ngữ này sau đó được tối ưu hóa cùng với các tham số mô hình còn lại trong quá trình đào tạo.

Ưu điểm chính của variformly là nó có thể hiệu quả hơn các kỹ thuật chính quy hóa truyền thống, chẳng hạn như chính quy hóa L1 và L2, trong một số trường hợp nhất định. Điều này là do đa dạng dựa trên phương sai của các dự đoán của mô hình, thay vì độ lớn của trọng số. Do đó, nó có thể ít nhạy cảm hơn với việc lựa chọn siêu tham số và có thể thích ứng tốt hơn với các loại dữ liệu khác nhau.

Variformly đã được áp dụng cho nhiều mô hình học máy, bao gồm mạng thần kinh và hồi quy logistic. Nó đã được chứng minh là có hiệu quả trong việc cải thiện hiệu suất khái quát hóa của các mô hình này, đặc biệt khi lượng dữ liệu huấn luyện bị hạn chế.