하이퍼 파라미터, GridSearchCV

https://dsbook.tistory.com/135

[파이썬 머신러닝 완벽가이드] : 사이킷 런 하이퍼 파라미터 & GridSearchCV - 3

를 바탕으로 필사하며 공부

 

---

 

* 하이퍼 파라미터(HyperParameter)

 

1. 파라미터 vs. 하이퍼 파라미터

 

- 파라미터는 일반 함수에서 결과값을 얻기 위해 넣어야 하는 요소들을 의미하는 용어로 많이 사용된다.

- 파라미터들은 측정되거나 데이터로부터 학습되어지지 않은 요소들을 의미하고, 파라미터는 수작업으로 이루어지지 않는다.

- 즉, 사용자가 직접 입력하지 않는다는 의미

- 데이터를 얻어 그 데이터의 평균이나 표준편차 등이 파라미터에 속한다고 할 수 있다.

 

- 하이퍼 파라미터는 머신러닝, 딥러닝 알고리즘에 많이 쓰이는 용어이다.

- 대부분 해당 알고리즘이 어떻게 학습을 해야하는지에 대한 설정을 해주기 위해 사용자가 직접 값을 입력해주어야 하는 요소들을 의미한다.

 

 

- 즉, 사용자가 직접 입력을 해주느냐(하이퍼 파라미터), 아니면 데이터 분석을 통해 얻은 값(파라미터)을 의미햐냐이다.

- 알고리즘이 학습하기 이전에 사용자가 직접 입력해주는 요소는 하이퍼 파라미터라고 부르고,

  학습한 후 데이터를 분석한 특성들에 관한 요소들을 파라미터라고 한다.

 

- but, 파라미터의 의미는 일반적인 함수들에서 결과를 얻기 위해 들어가야 할 요소 라는 뜻으로 이용되는 경우가 많다.

 

 

 

---

 

2. 왜 하이퍼 파라미터가 필요한가?

 

- 데이터는 무수히 많고, 비슷한 종류의 데이터들이라고 하더라도 분포가 매우 다양하다.

- 이것들을 일반화된 머신러닝, 딥러닝 알고리즘 모델을 적용하여 모든 경우에 최적의 결과를 내는 것은 불가능하다.

- 따라서 데이터의 특성들에 따라 여러 요소들을 적절한 값으로 설정해 주어야 각각의 경우에 최고의 예측 성능을 가져올 수 있다.

- 특히, 하이퍼 파라미터를 적절한 값으로 설정한 경우, 과적합(Overfitting)을 해결하는데 큰 도움을 준다.

 

 

 

---

 

* GridSearchCV

 

- 사이킷런(scikit-learn)에는 하이퍼 파라미터와 관련해 GridSearchCV라는 사이킷런 모듈이 있다.

- GridSearchCV는 사용자가 하이퍼 파라미터마다 몇 가지 값을 가진 리스트를 입력하면, 가능한 하이퍼 파라미터의 경우의 수마다 예측 성능을 측정하여 사용자가 일일이 하이퍼 파라미터를 설정하고, 예측 성능을 비교하여 최적의 파라미터를 찾는 수고를 줄이고 이 과정을 한꺼번에 진행한다.

 

 

* GirdSearchCV API 사용법

 

1. train_test_split()을 통해 학습 데이터와 테스트 데이터를 분리한다.

 

2. 하이퍼 파라미터 세트를 딕셔너리 형태로 변수에 저장한다.

parameters = {'max_depth': [1, 2, 3],
			'min_samples_split': [2, 3]}

- 'max_depth'와 'min_samples_list'는 결정 트리가 가지고 있는 하이퍼 파라미터의 종류이다.

 

3. GridSearchCV 객체의 fit(학습 데이터 세트) 매서드에 인자로 입력한다.

- fit 메서드는 하이퍼 파라미터들을 순차적으로 변경하여 학습과 평가를 수행한다.

- 그 후, cv_result_라는 속성에 기록한다.

- 이 cv_result_는 gridsearchcv의 결과 세트로서 딕셔너리 형태를 가진다.

 

4. cv_result_가 딕셔너리 형태를 가진 것을 이용해 pandas의 dataframe으로 변환하면 해당 결과를 편하게 볼 수 있다.