bowenpay / wechat-spider

微信公众号爬虫
http://wechatspider.0fenbei.com/
3.17k stars 997 forks source link

wechat_topic表查询性能慢 #33

Open hkhj326 opened 7 years ago

hkhj326 commented 7 years ago

content和source字段太大,导致查询太慢,建议分表处理

yijingping commented 7 years ago

确实应该分表,或者存到专门的文件服务器中。 一个字段有时都100k了,大的有点不像话了。

短期内我可能没有时间去做这个工作,你可以给我提交pull request。

ghost commented 7 years ago

如果用mongodb效率会怎么样

yijingping commented 7 years ago

@haodong 大字段还是不建议放到数据库中,将content 和 source 存到文件服务器,数据库直接存md5值就好。 mongodb放在内存,确实会快一些,但是需要改比较多的逻辑代码。