2022/05/04~2022/05/11

[danbi5228]

• 5/11 pm10:30
• 
• 4.5.2/4.5.3/4.5.4

[givitallugot]

4.5.2 라쏘 회귀

• 릿지 회귀처럼 비용 함수에 규제항을 더하나, 제곱항 대신 norm을 사용

• 라쏘 회귀는 덜 중요한 특성의 가중치를 완전히 제거하려고 함 (즉 가중치가 0이 됨)

• 즉, 자동으로 특성 선택이 되고 희소 모델을 만들게 됨 (0이 아닌 특성의 가중치가 적음)

  

• 노란색 점선은 비용 함수에 대한 배치 경사 하강법의 경로

• 라쏘(l1 패널티)의 경우 θ1 = 0에 먼저 도달하고 전역최솟값 θ2 = 0에 도달할 때까지 좁은 경로 따라 이동
  

• LASSO 클래스를 이용한 예제

  
  from sklearn.linear_model import Lasso

lasso_reg = Lasso(alpha = 0.1) lasso_reg.fit(X,y) lasso_reg.predict([[1.5]])

[njs03332]

4.5.4 조기 종료

• 조기 종료: 검증 에러가 최솟값에 도달하면 바로 훈련을 중지시키는 규제 방법
• 예시: 배치 경사 하강법으로 훈련시킨 고차원 다항 회귀 모델의 그래프
  • 에포크가 진행됨에 따라 훈련세트 예측 에러와 검증 세트 예측 에러가 줄어들다가
  • 검증 에러가 감소를 멈추었다가 다시 상승함 = 모델이 과대적합되기 시작
  • 조기 종료: 검증 에러가 최소에 도달하는 즉시 훈련을 멈추는 것 (매우 효과적이고 간단한 방법. '훌륭한 공짜 점심')
• 확률적 경사 하강법이나 미니배치 경사 하강법에서는 곡선이 매끄럽지 않아 최솟값에 도달했는지 확인이 어려울 수 있음
  • 검증 에러가 일정 시간 동안 최솟값보다 클 때 학습을 멈추고, 검증 에러가 최소였을 때의 모델 파라미터로 되돌리는 방법
• 조기 종료 구현 코드

  
  from sklearn.base import clone

데이터 준비

poly_scaler = Pipeline([ ("poly_features", PolynomialFeatures(degree=90, inclue_bias=False)), ("std_scaler", StandardScaler()) ]) X_train_poly_scaled = poly_scaler.fit_transform(X_train) X_val_poly_scaled = poly_scaler.transform(X_val)

sgd_reg = SGDRegressor(max_iter=1, tol=-np.infty, warm_start=True, penalty=None, learning_rate="constant", eta0=0.0005)

warm_start=True로 지정하면 fit() 메서드가 호출될 때 이전 모델 파라미터에서 훈련을 이어감

minimum_val_error = float("inf") best_epoch = None best_model = None for epoch in range(1000): sgd_reg.fit(X_train_poly_scaled, y_train) # 훈련을 이어서 진행 y_val_predict = sgd_reg.predict(X_val_poly_scaled) val_error = mean_squared_error(y_val, y_val_predict) if val_error < minimum_val_error: minimum_val_error = val_error best_epoch = epoch best_model = clone(sgd_reg)

[danbi5228]

4.5.3 엘라스틱넷

• 엘라스틱넷 elastic net: 릿지회귀와 라쏘 회귀를 절충한 모델

• 구제항은 릿지와 회귀의 규제항을 단순히 더해서 사용하고, 혼합 정도는 혼합비율 r을 사용해 조절

• 엘라스틱넷 비용함수:

  

• r=0: 릿지회귀와 동일 / r=1이면 라쏘회귀와 동일

• 선형회귀(규제가 없는 모델), 릿지, 라쏘, 엘라스틱넷을 사용하는 경우

  • 릿지, 라쏘, 엘라스틱넷 : 규제가 약간 있는 것이 좋음. 평범한 선형 회귀는 피할 것
  • 릿지가 기본이 되지만 쓰이는 특성이 몇 개 뿐이라고 의심되는 경우: 라쏘, 엘라스틱 넷
  • (특성 수 > 훈련샘플 수) or (특성 몇 개가 강하게 연관): 엘라스틱넷 (라쏘는 문제가 생김)

• 사이킷런 ElasticNet 예제

  from sklearn.linear_model import ElasticNet
  elastic_net = ElasticNet(alpha=0.1, l1_ratio=0.5)
  elastic_net.fit(X, y)
  elastic_net.predict([[1.5]]) # array([1.54333232])