2022/07/28~2022/08/03

[danbi5228]

8/3 pm 10:30

[danbi5228]

7.4.1 엑스트라 트리

• 앞선 챕터에서 언급된 것 처럼, 각 노드는 무작위로 특성의 서브셋을 만들어 분할에 사용함
• 트리를 더욱 무작위하게 만들고자 최적의 임계값을 찾는 대신 후보 특성을 사용해 무작위로 분할한 후 그중 최상의 분할을 선택
  • 이렇게 극단적으로 무작위한 트리의 랜덤 포레스트를 익스트림 랜덤 트리 앙상블 또는 엑스트라 트리 라고 부름
  • 여기서도 편향이 늘어나지만 대신 분산이 낮아짐
• 모든 노드에서 특성마다 가장 최적의 임계값을 찾는 것이 트리 알고리즘에서 가장 오래걸리는 작업 중 하나이므로 일반적인 랜덤 포레스트보다 엑스트라 트리가 훨씬 빠름
• 사이킷런의 ExtraTreesClassifier 사용하여 엑스트라 트리를 만들 수 있음

랜덤포레스트와 엑스트라 트리의 차이

• 아래 내용 포맷 = 특징 : 랜덤 포레스트 / 엑스트라 트리
• 중복 훈련 샘플 사용 : X (배깅) / O (결정트리 생성 시 훈련 세트 전체를 사용)
• 최적 임계값 찾기 : O (최적의 임계값을 찾아 split) / X (특성 세트 선택도 무작위)
• 연산량 : 많음 / 적음
• 속도 : 느림 / 빠름
• 성능 : 높음 / 낮음

[givitallugot]

7.3 랜덤 패치와 랜덤 서브스페이스

• BaggingClassifier는 특성 샘플링도 지원

• max_features(최대 특성 수), bootstrap_features(중복 허용해서 뽑을지 여부) 두 매개변수로 조절

• 이는 이미지와 같은 고차원 데이터셋을 다룰 때 유용
  

• 랜덤 패치 방식: 특성과 데이터를 모두 샘플링하는 것

• 랜덤 서브스페이스 방식: 데이터는 모두 사용하되 (bootstrap=False, max_samples=1.0), 특성은 샘플링하는 것 (max_features < 1.0)

• 특성 샘플링은 더 다양한 예측기를 만들며 편향을 늘리는 대신 분산을 낮춤

[njs03332]

7.4.2 특성 중요도

• 랜덤 포레스트는 특성의 상대적 중요도를 측정하기 쉬움
  • 사이킷런은 어떤 특성을 사용한 노드가 평균적으로 불순도를 얼마나 감소시키는지 확인하여 특성의 중요도를 측정함
  • 가중치 평균, 각 노드의 가중치는 연관된 훈련 샘플 수와 같음
  • 훈련이 끝난 뒤 특성마다 자동으로 이 점수를 계산하고 전체 합이 1이 되도록 결괏값을 정규화함 (featureimportances)

from sklearn.datasets import load_iris
iris = load_iris()
rnd_clf = RandomForestClassifier(n_estimators=500, n_jobs=-1)
rnd_clf.fit(iris["data"[, iris["target"])
for name, score in zip(iris["feature_names"], rnd_clf.feature_importances_):
    print(name, score)

• 유사한 방법으로 MNIST 데이터셋에 랜덤 포레스트 분류기를 훈련시키고 각 픽셀의 중요도를 그래프로 나타낼 수 있음

• 랜덤 포레스트는 특성을 선택해야 할 때 어떤 특성이 중요한지 빠르게 확인할 수 있어 매우 편리함