Decision tree/Ensemble/GBM에 관한 discussion - Githubissues

HyunjoonCho / data-science-study

0 stars 0 forks source link

Decision tree/Ensemble/GBM에 관한 discussion #4

Open yukyeongLee opened 3 years ago

yukyeongLee commented 3 years ago

Decision Tree

feature pre-processing의 영향을 덜 받음
overfitting 위험. 자유도를 제한할 필요성
축애 수직하게 계단 모양의 경계로 분할되므로 데이터 방향에 민감
- PCA로 보완 가능
scikit-learn.DecisionTreeClassifier는 각 node에서 두 child subset의 Gini inpurity가 최소가 되도록 분할
- Gini impurity가 낮을수록 순수한 subset

Ensemble

여러 weak learner를 종합해서 하나의 strong learner를 만드는 방법
Bagging과 Boosting이 대표적
- Bagging : 중복을 허용해서 무작위로 sampling한 train subset을 이용해서 훈련
- Boosting : 앞의 모델들을 보완하면서 모델들을 차례로 훈련

Gradient Boosting Machine (GBM)

Boosting은 연속적으로 학습하는 특징 때문에 parallelization이 아쉬움
XGBoost와 LightGBM은 GBM에 parallelization과 early stopping 부분을 추가

lodikim commented 3 years ago

Light GBM

Light GBM: 'leaf-wise' tree growth, 다른 Boosting 알고리즘: 'level-wise' tree growth
장점: 속도가 빠름, 큰 사이즈의 데이터 다룸, 적은 메모리 차지, 결과의 정확도에 초점
단점: Overfitting에 민감 (작은 데이터 세트에 적합 X, 10000 이상의 row(행)에 사용 추천)
구현은 쉽지만 100개 이상의 파라미터를 가지므로 튜닝이 중요 >> 아래 자료 참고

Light GBM 참고자료: https://nurilee.com/2020/04/03/lightgbm-definition-parameter-tuning/