search

lqqyt2423 / wechat_spider

微信爬虫，获取文章内容、阅读量、点赞量、评论等，获取公众号所有历史文章链接。
MIT License
1.41k stars 349 forks source link

获取文章详细内容，重复显示某一个文章的ID #15

Closed xujun05 closed 4 years ago

xujun05 commented 6 years ago

AnyProxy正常，手机上文章正常刷新，正常跳转。 在服务器端，显示文章的ID为一个奇怪的ID，这个ID在mongodb的Post中搜索，并无此ID。 其中文章长度是错误的，文章的ID重复获取，应该是redis的问题。

日志如下：

文章id: 5acf2be0c0dc79a2ba3467eb 阅读量: 1006 点赞量: 7

剩余文章抓取长度: 176496

文章id: 5acf2be0c0dc79a2ba3467eb 阅读量: 1007 点赞量: 7

剩余文章抓取长度: 176495

文章id: 5acf2be0c0dc79a2ba3467eb 阅读量: 7398 点赞量: 35

剩余文章抓取长度: 176494

文章id: 5acf2be0c0dc79a2ba3467eb 阅读量: 23172 点赞量: 79

剩余文章抓取长度: 176493

已抓取10条评论

lqqyt2423 commented 6 years ago

暂无碰到此问题，如果你可以解决，修改后的代码可以合并给我

xujun05 commented 6 years ago

不是太会nodejs，原因大致是redis的缓存错误。建议不适用redis，直接从mongodb获取。

lqqyt2423 commented 6 years ago

@xujun05 原因为微信接口有所改变，已经修复此问题，请拉取最新代码

xujun05 commented 6 years ago

谢谢，辛苦了