릿지(Ridge)와 라쏘(Lasso) 회귀

https://rk1993.tistory.com/entry/Ridge-regression와-Lasso-regression-쉽게-이해하기

Ridge regression(릿지 회귀)와 Lasso regression(라쏘 회귀) 쉽게 이해하기

를 따라 필사하며 공부

 

* 모든 이미지는 위 블로그에서 참조하였습니다. *

 

---

 

 

* 정규화 (Regularization)

 

출처: 위 블로그

- 첫 번째 그림: 데이터와 직선의 차이가 꽤 난다.

  - 정확한 예측x

  - underfitted / high bias

 

  - bias가 큰 모델은 test data를 위한 학습이 덜 된 것이 원인

  - 이는 train data와 test data간의 차이가 너무 커 train data로만 학습한 모델은 test data를 맞추기가 어려움

 

- 세 번째 그림: 현재 데이터로는 잘 맞지만, 다른 데이터를 사용한 경우 정확한 예측 x

  - overfitting / high variance

 

  - variance가 큰 모델은 train data에 overfitting된 것이 원인

  - 이는 train data에 너무 fitting된 모델을 만들어 test data에서 오차가 발생함

 

- 두 번째 그림 : 어느 정도 데이터에 적합하며 bias와 variance에 대해서도 적절함

 

---

- 모델을 만들 때 bias와 variance를 둘 다 줄여주면 제일 좋겠지만, 하나를 포기하기도 해야 한다.

  -> bias를 조금 가지더라도 제일 작은 variance를 가지는 모델을 만드는 것이 좋지 않을까?

  -> overfitting을 해결함으로써 효과를 볼 수 있지 않을까?

 

 

 

* overfitting을 해결하는 방법

1. 특성(feature)의 개수 줄이기

  - 주요 특징을 직접 선택하고 나머지는 버리기

  - model selection algorithm(?)을 사용하기

2. 정규화(regularization)을 수행하기

  - 모든 특성을 사용하되, 파라미터(세타)의 값을 줄이기 (?)

 

 

 

 

---

 

 

* 정규화(Regularization)

 

출처: 위 블로그

 

- 첫 번째 그래프 : overfitting되어 모델에 적합하지 못함

  - 두 번째 그래프와 같은 모델 사용해야 함

 

 

출처: 위 블로그

- 전체식이 최소화가 되려면 B3과 B4가 0으로 될 때 가장 작은식이 된다. : 정규화 컨셉

- 베타값(파라미터값)에 제약을 줌으로써 모델을 정돈 해줬다.

- 과적합이 아닌 일반성을 띄게 해주는 것

 

 

출처: 위 블로그

 

- 현재 데이터에 대한 예측력도 중요하지만 미래에 예측할 데이터도 중요하기 때문에 일반화는 중요하다.

 

- (1) 만 있으면 최소제곱법과 다른게 없는데,

- (2) 가 추가되면서 베타에 제약을 줄 수 있어 정규화가 가능해진다.

- 이렇게 계수 추정치를 줄여주는 정규화 방법을 shrinkage method라고 말한다.

 

- 그리고 이런 정규화(regularization) 컨셉을 처음 도입한 모델이 ridge regression이다.

 

 

 

 

---

 

* Ridge Regression (릿지 회귀, L2 Regression)

출처: 위 블로그

 

- 릿지 회귀식은 'RSS(residual sum of squares) + 패널티 항(베타 값)의 합' 으로 이루어져있다.

  - 릿지 회귀의 패널티 항은 파라미터의 제곱을 더해준 것

 

- 이것은 미분가능해 Gradient Descent 최적화가 가능하고, 파라미터의 크기가 작은 것보다 큰 것을 더 빠른 속도로 줄여준다.

- 즉, λ(람다)가 클수록 릿지 회귀의 계수 추정치는 0에 가까워지는 것이다.

- 즉, λ(람다)가 패널티를 얼마나 부과하는가를 조절하는 조절버튼이다.

 

 

---

 

출처: 위 블로그

 

- 릿지 회귀는 β0^2+β1^2 의 제약조건인 원이 있다.

- 기존의 OLS (Ordinary Least Squares)가 위에 보이는 제약조건까지 와야 최적값이라고 할 수 있다.

- 그렇다면 OLS가 제약조건가지 오기 위해서는 RSS의 크기를 키워주면 된다.

- bias가 약간 희생은 하지만 variance를 줄이기 위해선 아래의 그림처럼 제약조건까지 오는 가장 작은 RSS를 고르면 된다. (?)

 

 

---

 

* Lasso Regression (라쏘 회귀, L1 Regression)

 

출처: 위 블로그

 

- 라쏘 회귀는 릿지 회귀와 비슷하게 생겼지만 패널티 항에 절대값의 합을 취해주었다.

- 라쏘는 제약조건이 절대값이라 아래의 그림처럼 마름모꼴의 형태로 나타난다.

 

- 릿지 회귀와 비슷하게 OLS의 RSS 값을 크게 늘려준다.

- 라쏘 회귀의 경우 최적값은 모서리 부분에서 나타날 확률이 릿지에 비해 높아 몇몇 유의미하지 않은 변수들에 대해 계수를 0에 가깝게 추정해주어 변수 선택 효과를 가져오게 된다.

- 라쏘 회귀는 파라미터의 크기에 관계없이 같은 수준의 Regularization을 적용하였기 때문에 작은 값의 파라미터를 0으로 만들어 해당 변수를 모델에서 삭제하고, 따라서 모델을 단순하게 만들어주고 해석에 용이하게 만들어준다. (?)

 

 

출처: 위 블로그

 

- 반면 릿지의 경우 어느 정도 상관성을 가지는 변수들에 대해 pulling 이 되는 효과를 보여줘 변수 선택보다는 상관성이 있는 변수들에 대해 적절한 가중치 배분을 하게 된다.

- 따라서 릿지의 경우 PCA와 상당한 관련성이 있게 된다.

 

출처: 위 블로그