2022/05/12~2022/05/18

[danbi5228]

5/18 수 pm 10:30

유리: 4.6~4.6.1 선미: 4.6.2 단비: 4.6.3

[danbi5228]

~- 호기롭게 먼저 하겠다고 한 것 치곤 내용이 별로 없어서 당황~

4.6.3 결정 경계 decision boundary

• 설명을 위해 붓꽃 데이터셋 사용

  
  # 꽃잎의 너비를 기반으로 Iris-Versicolor 종을 감지하는 분류기 생성

데이터 로드

from sklearn import datasets iris = datasets.load_iris() X = iris["data"][:, 3:] # 꽃잎의 너비 y = (iris["target"]==2).astype(int) # array. Iris-Virginica면 1, 그렇지 않으면 0

로지스틱 회귀모델 훈련

from sklearn.linear_model import LogisticRegression log_reg = LogisticRegression() log_reg.fit(X, y)

꽃잎의 너비가 0~3cm인 꽃에 대해 모델의 추정 확률 계산

X_new = np.linspace(0, 3, 1000).reshape(-1, 1) y_proba = log_reg.predict_proba(X_new) plt.plot(X_new, y_proba[:, 1], "g-", label="Iris virginica") plt.plot(X_new, y_proba[:, 0], "b--", label="Not Iris virginica")

![image](https://user-images.githubusercontent.com/26505830/168630358-21124e89-b40b-4ba1-baff-ab60c991a17a.png)
- 양쪽의 확률이 똑같이 50%가 되는 1.6cm 근방에서 결정 경계가 만들어짐
- 다른 선형 모델 처럼 로지스틱 회귀 모델도 l1, l2 페널티를 사용하여 규제할 수 있고, 사이킷런은 l2 페널티를 기본으로 함

![image](https://user-images.githubusercontent.com/26505830/168631019-42f2269a-218e-4f05-97bd-dd909d7d304a.png)
- 동일한 데이터셋을 가지고 꽃잎 너비와 꽃잎 길이 두 개의 특성을 기반으로 훈련
- 결정 경계: 검정색 점선 (&theta;<sub>0</sub> + &theta;<sub>1</sub>x<sub>1</sub> + &theta;<sub>2</sub>x<sub>2</sub> = 0 을 만족하는 x의 집합) - 50% 확률 추정 지점
- 나머지 선: 특정 확률 출력. 맨 아래 0.150 보라색 선 - 15% 확률 

[njs03332]

4.6 로지스틱 회귀

• 로지스틱 회귀는 분류에도 사용될 수 있음 (샘플이 특정 클래스에 속할 확률을 추정)
  • 추정 확률이 50% 이상: 양성 클래스
  • 그렇지 않으면: 음성 클래스

    4.6.1 확률 추정

• 로지스틱 회귀의 작동 방식

  • 선형 회귀와 같이 입력 특성의 가중치 합 계산 -> 그 후 결괏값의 로지스틱을 출력

  • 로지스틱은 시그모이드 함수 (0과 1 사이의 값을 출력)

  • 로지스틱 회귀모델의 결과값 (확률)을 통해 예측을 쉽게 구할 수 있음 (0.5를 기준으로)

  • 로지스틱 함수에서 t < 0이면 값이 0.5보다 작고, t >= 0이면 값이 0.5보다 크거나 같으므로 로지스틱 회귀모델의 결과값이 양수일 때 1이라고 예측하고, 음수일 때 0이라고 예측함

• 로짓함수는 로지스틱 함수의 역함수 logit(p) = log(p/(10p))
  • t를 로짓이라고도 부름
  • 추정 확률 p의 로짓을 계산하면 t값을 얻을 수 있음
  • 로짓을 로그-오즈 (log-odds)라고도 부름 (log-odds: 양성 클래스 추정 확률과 음성 클래스 추정 확률 사이의 로그 비율)

[givitallugot]

4.6.2 훈련과 비용 함수

로지스틱 회귀의 훈련 방법

• 훈련의 목적은 양성 샘플(y=1)에 대해서는 높은 확률을 추정하고, 음성 샘플(y=0)에 대해서는 낮은 확률을 추정하는 모델의 파라미터 벡터 θ를 찾는 것
• 다음 식은 하나의 훈련 샘플 x벡터에 대한 비용 함수
  • y가 1일 때는 p_hat이 1에 가깝게 커야할 것, 따라서 p_hat이 0에 가까워지면 -log(p_hat)이 매우 커져서 비용이 증가
  • y가 0일 때는 p_hat이 0에 가깝게 작아야할 것, 따라서 p_hat이 1에 가까워지면 -log(1-p_hat)이 매우 커져서 비용 증가

• 전체 훈련 세트에 대한 비용함수는 모든 훈련 샘플의 비용을 평균한 것, 이를 로그 손실이라고 함
• 다음 식은 로지스틱 회귀의 비용 함수(로그 손실)
• 이 비용함수의 최솟값을 계산하는 알려진 해는 없음 (정규방정식 같은 해가 없음)
• 그러나, 볼록함수이므로 경사 하강법 이용하면 전역최솟값을 찾는 것을 보장

• 다음 식은 j번째 모델 파라미터 θ_j에 대해 편미분한 것, 로지스틱 비용 함수의 편도함수
• 식은 각 샘플에 대해 예측 오차를 예산하고 j번째 특성값을 곱해서 모든 훈련 샘플에 대해 평균한 것으로 해석
• 모든 편도함수를 포함한 그래디언트 벡터를 만들면 배치 경사 하강법 알고리즘을 사용할 수 있음