Bagging (Bootstrap Aggregating) in Machine Learning: variantie verminderen en generalisatie verbeteren

Bagging (Bootstrap Aggregating) is een techniek die bij machinaal leren wordt gebruikt om de variantie van een model te verminderen en het generalisatievermogen ervan te verbeteren. Het omvat het maken van meerdere exemplaren van hetzelfde model, elk met een andere subset van de trainingsgegevens, en het combineren van hun voorspellingen om de uiteindelijke voorspelling te doen. Zo werkt het: 1. Bootstrap-steekproef: er wordt een willekeurige subset van de trainingsgegevens geselecteerd met vervanging (d.w.z. sommige steekproeven kunnen meer dan één keer worden geselecteerd). Hierdoor ontstaat een nieuwe dataset die een willekeurige representatie is van de originele.
2. Modeltraining: elke instantie van het model wordt getraind op het bootstrap-voorbeeld.
3. Voorspelling: Elke instantie van het model doet een voorspelling op basis van de testgegevens.
4. Voorspellingen combineren: De voorspellingen van alle instanties van het model worden gecombineerd met behulp van een techniek zoals middeling of stemmen om de uiteindelijke voorspelling te doen. Het idee achter bagging is dat de willekeur in de selectie van de trainingsgegevens en de verschillende subsets van functies die door elke instantie van het model zal de variantie van het model verkleinen en het vermogen ervan om te generaliseren naar nieuwe gegevens verbeteren. Door de voorspellingen van meerdere modellen te combineren, kan bagging ook helpen om overfitting te verminderen en de robuustheid van het model te verbeteren. Bagging wordt vaak gebruikt in beslissingsbomen, willekeurige bossen en andere ensemble-leermethoden. Het is met name handig als de gegevensset veel kenmerken bevat en de relatie tussen de kenmerken en de doelvariabele complex is.