读取数据多的时候会oom

jc-LeeHub / Recommend-System-tf2.0

原理解析及代码实战，推荐算法也可以很简单 🔥 想要系统的学习推荐算法的小伙伴，欢迎 Star 或者 Fork 到自己仓库进行学习🚀 有任何疑问欢迎提 Issues，也可加文末的联系方式向我询问！

https://github.com/jc-LeeHub/

644 stars 216 forks source link

Closed DongFang1314 closed 3 years ago

DongFang1314 commented 3 years ago

全量criteo数据集十万条数据 40g内存都不够用

DongFang1314 commented 3 years ago

作者以为是哪里的瓶颈呢

jc-LeeHub commented 3 years ago

作者以为是哪里的瓶颈呢

可以将数据转换成TFRecord格式，然后用TFRecordDataset加载。

DongFang1314 commented 3 years ago

用训练方式就行

DongFang1314 commented 3 years ago

作者的模型很细很科学，deepfm里fm用了特征交叉池化层、很多地方都没忘加正则