关于测试集的问题

motefly / DeepGBM

SIGKDD'2019: DeepGBM: A Deep Learning Framework Distilled by GBDT for Online Prediction Tasks

647 stars 135 forks source link

Closed njuxx closed 4 years ago

njuxx commented 4 years ago

test set 好像先在训练GBDT的时候用来做了early stop，那它可以看做是一个验证集，但是它又在训练整个DeepGBM的时候当做了测试集，我想问这俩不应该是同一个数据集吧？

motefly commented 4 years ago

我们的实验中确实将同一个数据集用来作为测试集和验证集，没有严格使用验证集选择模型再使用测试集进行测试。但由于所有baseline都是同一个pipeline，所以不影响实验结果的有效性。

hanfu commented 4 years ago

求问zillow的测试集是哪个呢?