과대적합(Overfitting) vs. 과소적합(Underfitting)

https://m.blog.naver.com/qbxlvnf11/221324122821

머신러닝 - 과대적합(overfitting)과 과소적합(underfitting), 정규화

위 블로그를 필사하며 공부한 것

 

 

---

출처: 위 블로그

 

 

* 과대적합 (overfitting)

: 모델이 훈련 데이터에 너무 잘 맞지만 일반성이 떨어진다.

 

출처: 위 블로그

 

- 위의 그림에서 파란 선의 모델(함수)이 오버피팅한 예

- 훈련 데이터를 정확히 다 거치며 훈련 데이터에 대해 높은 성능을 보여준다.

- but, 이 모델은 테스트 데이터에 대해서는 높은 성능을 보여줄 확률이 낮다.

- because, 훈련 데이터에 너무 맞춰있기 때문에 이 외의 다양한 변수에는 대응하기 힘듬

  -> 모델의 복잡도가 필요 이상으로 높기 때문

 

---

• 과대적합(overfitting) 해결법

1. 훈련 데이터를 더 많이 모으기

2. 정규화(Regularization) : 규제, 드롭-아웃 등의 방법을 통해 적당한 복잡도 가지는 모델을 자동적으로 찾아주는 방법

3. 훈련 데이터의 잡음 줄이기 : 오류 수정, 이상치 제거

 

 

---

 

- 위와 같은 과대적합 모델은 모델을 간단하게 해주며 해결해야 한다. = 모델의 복잡도 낮추기

- 간단하게 2~3차 함수의 형태로 만들자.

--> 전보다 훈련 데이터에는 성능이 잘 나오지 않지만, 필요 이상으로 복잡한 패턴을 학습하지 않으며, 테스트 데이터에 잘 대처 할 수 있음

 

 

---

 

* 하이퍼파라미터(hyperparameter)

 

- 규제 : 모델을 단순하게 하고 과대적합의 위험을 감수시키기 위해 모델에 제약을 가하는 것

- 학습하는 동안 적용할 규제의 양은 하이퍼파라미터가 결정함

  - 학습 알고리즘에 영향 받지x

  - 훈련 전에 미리 지정되어 훈련하는 동안에는 상수로 남아있음

 

- 큰 값으로 지정할수록 더 평평하고 복잡도 낮은 모델 얻음

- 너무 높이면 과소적합 문제 발생하므로 적절하게 설정하자!

 

 

---

* 과소적합 (Underfitting)

: 모델이 너무 단순해 데이터의 내재된 구조를 학습하지 못할 때 발생

- 과대적합의 반대

 

---

• 과소적합(underfitting)의 해결 방법

1. 파라미터가 더 많은 복잡한 모델 선택

2. 모델의 제약 줄이기 : 규제 하이퍼파라미터 값 줄이기

3. 조기 종료 시점 (overfitting이 되기 전의 시점)까지 충분히 학습

 

 

---

 

* 일반화와 과대적합, 과소적합

 

- 굳이 따라지자면 과소적합보단 과대적합인 상태가 더 나을 수 있다.

- 과대적합은 최소한 훈련 데이터에서라도 성능이 잘 나오기 때문

 

- 일반화(generalization)는 테스트 데이터에 대한 높은 성능을 갖추는 것

- 즉, 테스트 데이터를 입력했을 때, output의 정확도가 높은 것