Bagging (Bootstrap Aggregating) i maskinlæring: Redusere varians og forbedre generalisering

Bagging (Bootstrap Aggregating) er en teknikk som brukes i maskinl
ring for å redusere variansen til en modell og forbedre dens generaliseringsevne. Det inneb
rer å lage flere forekomster av den samme modellen, hver med en annen delmengde av treningsdataene, og kombinere spådommene deres for å lage den endelige prediksjonen.

Slik fungerer det:

1. Sampling av bootstrap: Et tilfeldig delsett av treningsdataene velges med erstatning (dvs. noen prøver kan velges mer enn én gang). Dette lager et nytt datasett som er en tilfeldig representasjon av det opprinnelige.
2. Modelltrening: Hver forekomst av modellen trenes på bootstrap-prøven.
3. Prediksjon: Hver forekomst av modellen gjør en prediksjon på testdataene.
4. Kombinere spådommer: Forutsigelsene fra alle forekomster av modellen kombineres ved å bruke en teknikk som gjennomsnittsberegning eller stemmegivning for å lage den endelige prediksjonen.

Ideen bak bagging er at tilfeldigheten i utvalget av treningsdata og de forskjellige undergruppene av funksjoner som brukes av hver forekomst av modellen vil redusere modellens varians og forbedre dens evne til å generalisere til nye data. Ved å kombinere spådommene til flere modeller, kan bagging også bidra til å redusere overtilpasning og forbedre robustheten til modellen.

Bagging er ofte brukt i beslutningstr
r, tilfeldige skoger og andre ensemblel
ringsmetoder. Det er spesielt nyttig når det er mange funksjoner i datasettet og forholdet mellom funksjonene og målvariabelen er komplekst.