search

codesofun / web-bee

🐝 Web vertical crawler framework for fun
MIT License
187 stars 38 forks source link

缓存 #17

Open nonacosa opened 7 years ago

nonacosa commented 7 years ago

爬取知乎百万数据为防止爬取重复用户以及生成关系策略需要进行缓存 java缓存百万数据不切实际额，需要开发webbee-redis插件

JPCui commented 7 years ago

这个可以看看 bitmap算法，以及已经实现的 BloomFilter；

哈哈

nonacosa commented 7 years ago

@JPCui 好的,我晚上看看😄，本来打算用ehcache的