请教数据量较大时怎么处理？

guoguibing / librec

LibRec: A Leading Java Library for Recommender Systems, see

https://www.librec.net/

Other

3.23k stars 1.03k forks source link

Open winwill2012 opened 4 years ago

winwill2012 commented 4 years ago

请教一下，当数据量比较大时：100w用户，2w物品，900万行评分，矩阵密度：0.05% 这样的数据量应该怎么处理呢？目前使用BiasedMFRecommender，25G内存都不够用，计算不出来。

hklgit commented 3 years ago

这个就是个demo,你的数据量不小了，25g铁定不够用老铁，你物品都两万了算物品的相似度你25g都够呛，减少数据量本着可以跑通的原则来吧