search

XuanwuAI / SectodayCommunity

2 stars 1 forks source link

至少每个小时抓去一次吧？感觉有点不及时 #3

Closed ufofly closed 3 weeks ago

ufofly commented 2 months ago

如题

ufofly commented 2 months ago

数据采集越来越拉了

WireFisher commented 2 months ago
  1. 是什么现象让你觉得数据抓取不及时
  2. 是什么现象让你觉得数据采集越来越拉了

能不能具体描述一下。

ufofly commented 2 months ago
  1. 数据更新很慢，比如我现在7月5号早上9点想看文章，最新的文章还是昨天晚上21点抓取的。 image
  2. 这个我说错了，之前印象中抓取的文章有很多垃圾广告的，现在把近几天的重新大概看了一遍没怎么发现了。
WireFisher commented 2 months ago

我们会自动筛选高质量文章展示。像你说的这种情况其实是昨晚21点到今天早上9点之间抓到的文章质量都很低，没展示出来。

liangjs commented 3 weeks ago
  1. 文章的抓取、分析、筛选都需要一定时间，所以有延迟是正常的。另外，页面上显示的时间一般是原文发布时间，并非抓取时间。
  2. 我们将持续调整文章筛选策略，尽量避免有大量广告和非技术内容的文章。