search

RimoChan / sese-engine

【sese-engine】新时代的搜索引擎！
https://sese.yyj.moe
Other
607 stars 53 forks source link

频繁重启程序会严重影响爬虫工作吗？ #45

Closed CCCAUCHY closed 1 year ago

CCCAUCHY commented 1 year ago

想部署在家用机上，就着每天用电脑的时间爬取，玩游戏或者有重负载的时候关掉，看视频刷网页的时候打开。 重启之后爬虫会继续上次的进度吗？因为感觉有用的新网站很少，全网爬过一次之后，每天用电脑的时间就够用了。 不过部署在家用机上还有一个问题就是翻墙，不知道爬虫能不能加个socks5 部署在本地，响应速度也能快一点

RimoChan commented 1 year ago

建议部署在旧电脑上，不要使用自己的电脑。 因为重启会影响爬虫工作，然后爬虫也会影响你工作，推荐配置是2C4G是因为它真的会用掉你2C4G……

CCCAUCHY commented 1 year ago

建议部署在旧电脑上，不要使用自己的电脑。 因为重启会影响爬虫工作，然后爬虫也会影响你工作，推荐配置是2C4G是因为它真的会用掉你2C4G……

常年2C4G吗

RimoChan commented 1 year ago

对！