선형 회귀 / 릿지 회귀 / 라쏘 회귀

https://it-timehacker.tistory.com/29

머신러닝 스터디 02-선형모델(회귀 편)선형회귀,릿지회귀,라쏘회귀

위 블로그를 필사하며 공부

 

 

---

 

y = ax + b

- 선형 모델을 생각해보자.

- y는 예측값이 된다.

- a, b는 모델이 학습할 파라미터이다.

  - 즉, a와 b 값을 적절히 조절해가며 정답에 가까운 파라미터를 골라야한다.

- a는 기울기

  - 특성이 많아지게 되면, 각 입력 특성 x에 따라 가중치 a를 곱한만큼에 b를 더한만큼이 예측값으로 나오게 된다.

 

 

 

* 선형 회귀(최소 제곱법)

- 가장 간단하고 오래된 회귀용 선형 알고리즘

- 예측과 훈련 세트에 있는 타깃 y 사이의 평균제곱오차를 최소화하는 파라미터 w와 b를 찾는다.

 

from sklearn.linear_model import LinearRegression
from sklearn.model_selection import train_test_split

X_train, X_test, y_train, y_test = train_test_split(X,y,random_state=42)
lr = LinearRegression().fit(X_train,y_train)

 

- 파라미터 w는 가중치 or 계수라고 하며, lr 객체의 coef_ 속성에 저장되어 있고,

- 파라미터 b는 편향 or 절편이라고 하며, intercept_ 속성에 저장되어 있다.

 

print("lr.coef_: {}".format(lr.coef_))
print("lr.intercept_: {}".format(lr.intercept_))

 

- _는 사이킷런에서 훈련데이터에서 유도된 속성에 모두 _를 붙이기 때문에 넣은 것

- (사용자가 지정한 매개변수와 구분하기 위해 이런식으로 작성함)

 

- intercept_는 실수 값 하나이지만

- coef_는 각 입력 특성에 따라 하나씩 대응되는 numpy 배열이다.

 

 

 

- 훈련 세트일 때 높고, 테스트 세트 때 낮음

--> 과대적합 발생

- 이런 문제 해결하기 위해 릿지 회귀 쓰임

 

 

---

 

* 릿지 회귀

- 회귀를 위한 선형모델이므로 예측함수 사용

 

- 가중치의 모든 원소가 0이 되는 것이 목표

- 기울기를 작게 만들어 특성의 영향력을 최소화시키는 것

- 이러한 제약을 규제라고 하며, 규제는 과대적합이 되지 않도록 모델을 강제로 제한한다는 의미

- 릿지 회귀 : L2 규제

 

- 릿지의 결과를 본다면, 선형 회귀보다 테스트 세트에 대한 점수가 더 높다.

  - 릿지는 이처럼 과대적합이 더 적어짐

- 훈련 세트에서 성능이 더 나빠졌지만, 과대적합을 막아주어 더 일반화 된 모델이 되었다.

- 우리가 관심이 있는 것은테스트 세트에 대한 성능이므로 LinearRegression 보다는 Ridge 모델이 더 좋을 것

 

- 사용자는 alpha 매개변수를 통해 훈련 세트의 성능 대비 모델을 얼마나 단순화할지를 결정할 수 있음

- 기본값: alpha=1.0

- alpha값을 높이면 계수가 0에 더 가깝게 만들어 훈련 세트의 성능은 나빠지지만 일반화에는 도움을 줄 수 있음

- alpha를 크게 해 기울기가 0에 가깝게 된다면 결국 선형 회귀의 값에 수렴하게 됨

 

- alpha값을 줄이면 기울기가 (원래대로) 커지며 선형 회귀에 가깝게 되어 모델의 복잡도는 더 낮아짐

  -> 과소 적합 조심하기

- alpha값을 늘리면 기울기가 커지며 모델 복잡도는 더 커짐

  -> 과대 적합 조심하기

 

출처: 위 블로그

 

- 위 그림은 coef_ 즉 계수, 기울기에 해당한느 값을 alpha 값이 10, 1, 0.1일 때 비교한 그래프이다.

- x축이 계수, y값이 alpha값에 따라 어떻게 달라지는지 보여줌

- alpha=10일 때는 기울기가 작아져 계수가 -3~3 사이에 위치

- alpha=1일 때는 계수가 조금 더 높아짐

- alpha=0.1일 때는 기울기가 더 커져 계수가 그림 밖으로 넘어감

 

* alpha값이 작아지면 기울기(계수)는 커짐

 

 

---

- 또 하나의 규제를 다루는 방법

: alpha값을 고정하고 훈련 데이터의 크기를 변화시키는 것

- LinearRegression과 Ridge(alpha=1)을 적용한 것

 

- 이렇게 데이터셋의 크기에 따라 모델의 성능 변화를 나타낸 그래프: 학습 곡선

 

출처: 위 블로그

 

- 모든 데이터셋에 대해 릿지와 선형 회귀 모두 훈련 세트의 점수가 테스트 세트의 점수보다 높다.

- 릿지에는 규제가 적용되므로 릿지의 훈련 데이터 점수가 전체적으로 선형 회귀의 훈련 데이터 점수보다 낮다.

- 규제를 적용하면 훈련 데이터 점수는 낮아지지만 과대적합을 막아주어 테스트의 정확도는 더 높아진다.

- 특히 더 작은 데이터 셋에서는 파란색 표(릿지)가 더 유리함을 알 수 있다.

 

- 두 모델 모두 데이터가 많아질수록 성능이 좋아지는데,

- 데이터를 충분히 주면 규제의 중요성은 낮아져 결국 릿지&선형회귀의 정확도는 같아지게 된다.

 

- 선형회귀의 경우 훈련데이터의 정확도가 데이터가 많아질수록 감소한다.

  - 이는 데이터가 많아질수록 모델이 데이터를 기억하거나 과대적합을 하기 어려워지기 떄문이다.

 

 

 

---

 

* 라쏘

- 선형회귀에 규제를 적용하는 릿지의 대안

- 라쏘도 릿지와 마찬가지로 계수를 0에 가깝게 만들려고 한다.

- L1 규제

 

- L1 규제의 결과로 라쏘를 사용할 때 어떤 계수는 정말 0이 된다.

  = 모델에서 완전히 제외되는 특성이 생긴다. (?)

- 일부 계수를 0으로 만들게 되면 모델을 이해하기 쉬워지고, 모델의 가장 중요한 특성이 무엇인지 드러나게 된다.

 

- Lasso는 훈련세트와 테스트 결과가 모두 좋지 않은 걸 보아 과소적합이 이루어짐을 알 수 있다.

- 릿지와 마찬가지로 라쏘도 alpha를 이용해 계수를 조정한다.

- 과소적합을 줄이기 위해 alpha값을 줄이면 복잡성이 증가한다.

- 이 때 max_iter의 기본값을 늘려야 한다.

 

- alpha값을 낮추고, max_iter값을 높여주면 복잡도가 증가하여 과소 적합의 문제가 어느정도 해결된다.

 

출처: 위 블로그

- alpha=1 일 떄는 계수 대부분이 0이고, 나머지 계수들도 크기가 작다.

- alpha=0.01 일 때는 대부분의 특성이 0이 되는 분포다.

- alpha=0.0001 일 때는 계수 대부분이 0이 아니고, 값도 계쏙 커져 꽤 규제받지 않는 모델이다.

 

---

 

- 보통은 릿지 회귀를 선호하지만, 특성이 많고 그 중 일부분만 중요하다면 라쏘가 더 좋은 선택이다.

- 분석하기 쉬운 모델은 라쏘

-