Bagażowanie (agregacja Bootstrap) w uczeniu maszynowym: zmniejszanie wariancji i ulepszanie generalizacji

Bagging (agregacja Bootstrap) to technika stosowana w uczeniu maszynowym w celu zmniejszenia wariancji modelu i poprawy jego zdolności do generalizacji. Polega na utworzeniu wielu instancji tego samego modelu, każda z innym podzbiorem danych uczących, i połączeniu ich przewidywań w celu uzyskania ostatecznej prognozy.…
Oto jak to działa:…
1. Próbkowanie metodą bootstrap: losowy podzbiór danych uczących jest wybierany z zastępowaniem (tj. niektóre próbki mogą być wybierane więcej niż raz). Tworzy to nowy zbiór danych, który jest losową reprezentacją pierwotnego.
2. Trening modelu: każda instancja modelu jest trenowana na próbce bootstrap.
3. Predykcja: każda instancja modelu dokonuje prognozy na podstawie danych testowych.…4. Łączenie prognoz: Prognozy ze wszystkich instancji modelu są łączone przy użyciu technik takich jak uśrednianie lub głosowanie, aby uzyskać ostateczną prognozę.

Ideą pakowania jest to, że losowość w wyborze danych uczących i różnych podzbiorów funkcji używanych przez każde wystąpienie modelu zmniejszy wariancję modelu i poprawi jego zdolność do uogólniania na nowe dane. Łącząc przewidywania wielu modeli, pakowanie może również pomóc w ograniczeniu nadmiernego dopasowania i poprawie niezawodności modelu.

Bagging jest powszechnie stosowany w drzewach decyzyjnych, lasach losowych i innych metodach uczenia się zespołowego. Jest to szczególnie przydatne, gdy zbiór danych zawiera wiele cech, a związek między cechami a zmienną docelową jest złożony.