2022/07/08~2022/07/13 - Githubissues

njs03332 commented 2 years ago

7/13 수요일 22:00

danbi5228 commented 2 years ago

6.7 규제 매개변수

결정트리는 훈련 데이터에 대한 제약 사항이 거의 없어서, 제한을 두지 않으면 대부분 과대적합되기 쉬움
- 비파라미터 모델: 훈련되기 전에 파라미터 수가 결정되지 않는 모델. 결정트리는 비파라미터 모델에 해당
- 모델 구조가 데이터에 맞춰져서 고정되지 않고 자유로움
- 파라미터 모델: 미리 정의된 모델 파라미터 수. 선형모델이 이에 해당
- 자유도가 제한되고 과대적합될 위험이 줄어듦
과대적합을 피하기 위해 학습할 때 결정트리의 자유도를 제한 (= 규제)
DecisionTreeClassifier 기준, min_ 으로 시작하는 매개변수를 증가시키거나, max_로 시작하는 매개변수를 감소시키면 모델에 규제가 커짐
ex) 5장에서 소개된 moons 데이터셋에 훈련시킨 결정트리 왼: 기본 매개변수 (규제없음) / 오: min_samples_leaf=4 로 지정
- 왼쪽 모델은 확실히 과대적합 되었고, 오른쪽 모델은 일반화 성능이 더 좋을 것으로 보임

NOTE

가지치기 pruning 알고리즘: 제한 없이 결정 트리를 훈련시키고 불필요한 노드를 제거하는 알고리즘
카이제곱 검정 (chi-squared test) 같은 통계적 검정을 사용하여 우연히 향상된 것인지 추정함
- 이 확률을 p-값이라고 부르고 어떤 임계값보다 높으면 그 노드는 불필요한 것으로 간주되고 그 자식노드는 삭제됨
- 카이제곱 값이 커지면 p-값은 줄어들고, p-값이 임곗값보다 높으면 순도 향상이 우연에 의한 것일 수 있다고 판단

njs03332 commented 2 years ago

6.8 회귀

결정 트리는 회귀 문제에도 사용할 수 있음
사이킷런의 DecisionTreeRegressor를 사용, 잡음이 섞인 2차 함수 형태의 데이터셋에서 max_depth=2 설정으로 회귀 트리 만들기
```
from sklearn.tree import DecisionTreeRegressor
```

tree_reg = DecisionTreeRegressor(max_depth=2) tree_reg.fit(X, y)


![image](https://user-images.githubusercontent.com/37107740/178526379-d004043c-7a71-4a20-b342-ae0647cef2ff.png)

- 앞서 만든 분류 트리와 비슷하지만, 회귀 트리에서는 각 노드에서 클래스를 예측하는 대신 어떤 값을 예측함 (value)
  - 예) 0.111인 리프노드에 도달하는 경우: 이 리프 노드에 있는 110개 훈련 샘플의 평균 타깃값이 예측값 (0.111)이고, 이 예측값을 사용해 110개 샘플에 대한 평균제곱오차 (MSE)를 계산하면 0.015
![image](https://user-images.githubusercontent.com/37107740/178528759-e61cf065-a827-4167-8f56-1323e16f55b3.png)

- 이 모델의 예측은 왼쪽과 같음. max_depth=3으로 설정하면 오른쪽과 같음
  - 각 영역의 예측값은 항상 그 영역에 있는 타깃값의 평균
  - 알고리즘은 예측값과 가능한 한 많은 샘플이 가까이 있도록 영역을 분할함
- CART 알고리즘은 훈련 세트를 불순도를 최소화하는 방향으로 분할하는 대신 평균제곱오차(MSE)를 최소화하도록 분할 (비용함수: 식 6-4)
![image](https://user-images.githubusercontent.com/37107740/178530830-32de04cc-7157-4fcc-9b11-8a28d9b6f62f.png)

- 분류에서와 마찬가지로 회귀 작업에서도 결정트리가 과대적합되기 쉬움
  - 규제가 없다면 왼쪽과 같은 예측을 함
  - mn_samples_leaf=10으로 지정하면 오른쪽과 같음