기계 학습의 배깅(부트스트랩 집계): 분산 감소 및 일반화 개선

배깅(Bootstrap Aggregating)은 기계 학습에서 모델의 분산을 줄이고 일반화 능력을 향상시키는 데 사용되는 기술입니다. 여기에는 동일한 모델의 여러 인스턴스를 생성하고 각 인스턴스에는 훈련 데이터의 다른 하위 집합이 포함되며 해당 예측을 결합하여 최종 예측이 이루어집니다. 작동 방법은 다음과 같습니다.

1. 부트스트랩 샘플링: 교육 데이터의 무작위 하위 집합이 대체되어 선택됩니다(즉, 일부 샘플이 두 번 이상 선택될 수 있음). 이렇게 하면 원본 데이터 집합을 무작위로 표현하는 새 데이터 집합이 생성됩니다.
2. 모델 훈련: 모델의 각 인스턴스는 부트스트랩 샘플에서 훈련됩니다.
3. 예측: 모델의 각 인스턴스는 테스트 데이터에 대해 예측합니다.
4. 예측 결합: 모델의 모든 인스턴스의 예측은 평균화 또는 투표와 같은 기술을 사용하여 결합되어 최종 예측을 만듭니다.

배깅의 기본 개념은 훈련 데이터 선택의 무작위성과 모델의 각 인스턴스는 모델의 분산을 줄이고 새로운 데이터로 일반화하는 능력을 향상시킵니다. 여러 모델의 예측을 결합함으로써 배깅은 과적합을 줄이고 모델의 견고성을 향상시키는 데 도움이 될 수도 있습니다. 배깅은 일반적으로 의사결정 트리, 랜덤 포레스트 및 기타 앙상블 학습 방법에 사용됩니다. 데이터 세트에 많은 기능이 있고 기능과 대상 변수 간의 관계가 복잡할 때 특히 유용합니다.