motefly / DeepGBM

SIGKDD'2019: DeepGBM: A Deep Learning Framework Distilled by GBDT for Online Prediction Tasks
647 stars 135 forks source link

关于pytorch的相关问题 #24

Closed cqlillian closed 4 years ago

cqlillian commented 4 years ago

最近工作需要将deepGBM的pytorch版本翻译成了tensorflow的版本,感觉是完全按照源码的翻译,然后发现在criteo的数据集上测试,只测了10分之一,使用GPU训练,发现pytorch的源码在GPU和CPU的利用率都也别高,但是相对于tensorflow就cpu和gpu的利用率就很低,导致同样的参数训练,同样使用GPU,pytorch的性能高了6倍,然后我看源码里面有的地方也有tensorflow的相关注释 比如使用tf.summary(),所以感觉作者应该也是熟悉tensorflow的,所以想问问,当时为什么选择的pytoch而没有使用tensorflow有什么原因么

motefly commented 4 years ago

感谢关注工作。 因为pytorch相对tf更好调试和适应动态构图,所以本人的近期工作都是使用pytorch开发的(tf.summary那块只是用来使用tensorboard的,用的比较乱)。关于pytorch和tf的性能问题,可能需要去社区寻求答案,我没有测试过相关性能差异,抱歉。

cqlillian commented 4 years ago

好的,十分感谢