slds-lmu / lecture_i2ml

I2ML lecture repository
https://slds-lmu.github.io/i2ml/
Creative Commons Attribution 4.0 International
147 stars 81 forks source link

wir sollten eine kleine resampling vergleichsstudie haben wie bei kohavi #994

Open berndbischl opened 7 years ago

giuseppec commented 7 years ago

Hab das mal nur mit dem vehicle datensatz vom kohavi paper gemacht.

Plot ist hier: https://github.com/berndbischl/lectures/blob/a776dfc0dfb773000debc57314fd5e6240dd0cf8/cim2/2017/04-resampling/figure_man/compare-cv-example.jpg

Code entsprechend in compare-cv-example.R

Zwei schöne Diskussionen hier: 1) https://stats.stackexchange.com/questions/61783/bias-and-variance-in-leave-one-out-vs-k-fold-cross-validation 2) https://stats.stackexchange.com/questions/280665/variance-of-k-fold-cross-validation-estimates-as-fk-what-is-the-role-of/358278#358278