[머신 러닝] Regression 알고리즘

*Linear Regression 알고리즘

: input data의 Feature X에 가중치 w를 곱해서 적절한 y값을 예측합니다.

 학습을 통해 적절한 가중치 w를 찾아냄 // 하지만 training data에 과도하게 overfitting 될 수 있음

1. Ridge Regression : L2 Regularization 을 적용 - 가중치 w가 큰 값이 되지 않도록 장려하는 Regression 기법

2. Lasso Regression : L1 Regularization을 적용 - 가중치 w가 큰 값이 되지 않도록 장려하는 Regression 기법 

3. ElasticNet Regression : L1+L2 Regularization을 적용 - 가중치 w가 큰 값이 되지 않도록 장려하는 Regression 기법

 

<Regression 모델 구현하기>

from sklearn.linear_model import LinearRegression
lr = LinearRegression() #Linear Regression 모델 선언

from sklearn.linear_model import Ridge
ridge_reg = Ridge() #Ridge Regression 모델 선언

from sklearn.linear_model import Lasso
lasso_reg = Lasso() #Lasso Regression 모델 선언

from sklearn.linear_model import ElasticNet
elasticnet_reg = ElesticNet() #ElasticNet Regression 모델 선언

** 어떤 Regression 모델을 사용할 지 고민이 될 때**

algorithm cheat sheet

Choosing the right estimator — scikit-learn 0.24.2 documentation