앙상블 모델

https://bkshin.tistory.com/entry/%EB%A8%B8%EC%8B%A0%EB%9F%AC%EB%8B%9D-11-%EC%95%99%EC%83%81%EB%B8%94-%ED%95%99%EC%8A%B5-Ensemble-Learning-%EB%B0%B0%EA%B9%85Bagging%EA%B3%BC-%EB%B6%80%EC%8A%A4%ED%8C%85Boosting

머신러닝 - 11. 앙상블 학습 (Ensemble Learning): 배깅(Bagging)과 부스팅(Boosting)

위 블로그를 필사하며 공부

 

* 모든 텍스트와 이미지의 출처는 위 블로그입니다.

 

 

---

 

앙상블 (Ensemble)

 

- 어떤 데이터 값을 예측할 때, 여러 개의 모델을 조화롭게 학습시켜 그 모델들의 예측 결과들을 이용한다면

  더 정확한 예측값을 구할 수 있을 것이다.

 

- 앙상블 학습은 여러 개의 결정 트리(Decision Tree)를 결합시켜 하나의 결정 트리보다 더 좋은 성능을 내는 머신러닝 기법

- 여러 개의 약 분류기(Weak Classifier)를 결합시켜 강 분류기(Strong Classifier)를 만드는 것

--> 모델의 정확도 향상

 

* 앙상블 학습의 2가지 종류

- 배깅(Bagging) & 부스팅(Boosting)

 

 

 

 

 

 

 

1. 배깅(Bagging)

 

- 배깅(Bagging)은 Bootstrap Aggregation의 약자

: 샘플을 여러 번 뽑아(Bootstrap) 각 모델을 학습시켜 결과물을 집계(Aggregation)하는 방법

 

출처: swallow.github.io

 

- 우선 데이터로부터 부트스트랩을 함

- (복원 랜덤 샘플링) 부트스트랩한 데이터로 모델을 학습시킴

- 학습된 모델의 결과를 집계하여 최종 결과 값을 구함

 

- Categorical Data는 투표 방식(Voting)으로 결과를 집계하며, Continuous Data는 평균으로 집계함

 

- Categorical Data일 때, Voting은 전체 모델에서 예측한 값 중 가장 많은 값을 최종 예측값으로 선정한다는 것

ex. 6개의 결정 트리 모델이 있다고 하자.

- 4개는 A로 예측, 2개는 B로 예측함 -> 투표에 의해 4개의 모델이 선택한 A를 최종 결과로 예측

 

- 평균으로 집계한다는 것은 말 그대로 각 결정 트리 모델이 예측한 값에 평균을 취해 최종 Bagging Model의 예측값을 결정한다는 뜻

 

- 배깅을 활용한 모델이 바로 랜덤 포레스트

 

 

 

 

 

 

 

2. 부스팅(Boosting)

 

- 부스팅은 가중치를 활용해 약 분류기를 강 분류기로 만드는 방법

 

- 배깅은 Decision Tree1과 Decision Tree2가 서로 독립적으로 결과를 예측함

- 여러 개의 독립적인 결정 트리가 각각 값을 예측한 뒤, 그 결과 값을 집계해 최종 결과 값을 예측하는 방식

 

- 하지만 부스팅은 모델 간의 팀워크가 이루어짐

- 처음 모델이 예측을 하면 그 예측 결과에 따라 데이터에 가중치가 부여되고, 부여된 가중치가 다음 모델에 영향을 줌

- 잘못 분류된 데이터에 집중해 새로운 분류 규칙을 만드는 단계를 반복

 

 

 

 

* 예제: +와 -로 구성된 데이터셋을 분류하는 문제

출처: Medium (Boosting and Bagging explained with examples)

 

- D1에서는 2/5 지점을 횡단하는 구분선으로 데이터를 나누어주었다.

- 하지만 위쪽의 +와 아래쪽의 두 개의 -는 잘못 분류됨

--> 잘못 분류가 된 데이터는 가중치를 높여주고, 잘 분류된 데이터는 가중치를 낮추어 줌

 

- D2를 보면 D1에서 잘 분류된 데이터는 크기가 작아졌고(=가중치가 낮아졌고), 잘못 분류된 데이터는 크기가 커짐(=가중치가 커짐)

- 분류가 잘못된 데이터에 가중치를 부여하는 이유는 다음 모델에서 더 집중해 분류하기 위함이다.

- D2에서는 오른쪽 세 개의 -가 잘못 분류되었다.

 

- 따라서 D3에서 세 개의 -가 가중치가 커졌다.

- 맨 처음 모델에서 가중치를 부여한 +와 -는 D2에서는 잘 분류되었기 때문에 가중치가 다시 작아졌다.

 

- D1, D2, D3의 classifier를 합쳐 최종 classifier를 구할 수 있다.

- 최종 classifier는 +와 -를 정확하게 구분해준다.

 

 

 

 

 

 

 

배깅과 부스팅 차이

출처: swallow.github.io

 

- 배깅은 병렬로 학습하는 반면, 부스팅은 순차적으로 학습한다.

- 한 번 학습이 끝난 후 결과에 따라 가중치를 부여함

- 그렇게 부여된 가중치가 다음 모델의 결과 예측에 영향을 준다.

 

- 오답에 대해서는 높은 가중치를 부여, 정답에 대해서는 낮은 가중치를 부여

- 따라서 오답을 정답으로 맞추기 위해 오답에 더 집중 가능하다.

 

- 부스팅은 배깅에 비해 error가 적음 (성능이 좋다.)

   - 하지만 속도가 느리고, overfitting될 가능성이 있다.

- 개별 결정 트리의 낮은 성능이 문제라면 --> 부스팅

- 오버피팅이 문제라면 --> 배깅