Розміщення пакетів (початкове агрегування) у машинному навчанні: зменшення дисперсії та покращення узагальнення

Bagging (Bootstrap Aggregating) — це техніка, яка використовується в машинному навчанні для зменшення дисперсії моделі та покращення її здатності до узагальнення. Він передбачає створення кількох екземплярів однієї моделі, кожен із різною підмножиною навчальних даних, і об’єднання їхніх прогнозів для остаточного прогнозу.

Ось як це працює:

1. Початкова вибірка: випадкова підмножина навчальних даних вибирається із заміною (тобто деякі вибірки можуть бути обрані більше одного разу). Це створює новий набір даних, який є випадковим представленням вихідного.
2. Навчання моделі: кожен екземпляр моделі навчається на зразку початкового завантаження.
3. Прогноз: кожен екземпляр моделі робить прогноз на основі тестових даних.
4. Об’єднання передбачень: передбачення з усіх екземплярів моделі об’єднуються за допомогою таких методів, як усереднення або голосування, щоб зробити остаточний прогноз.

Ідея пакетування полягає в тому, що випадковість у виборі навчальних даних і різних підмножин функцій, які використовуються кожен екземпляр моделі зменшить дисперсію моделі та покращить її здатність узагальнювати нові дані. Завдяки поєднанню прогнозів кількох моделей пакетування також може допомогти зменшити переобладнання та підвищити надійність моделі.

Бегінг зазвичай використовується в деревах рішень, випадкових лісах та інших методах ансамблевого навчання. Це особливо корисно, коли в наборі даних багато функцій і зв’язок між функціями та цільовою змінною складний.