cxfksword / jellyfin-plugin-metashark

jellyfin电影元数据插件
GNU General Public License v3.0
1.18k stars 62 forks source link

[enhancement] 是否可以设置前后端分离,或配置多策略的间隔时间,以避免被封IP或被查机器人校验 #12

Closed hezhiming1995 closed 1 year ago

hezhiming1995 commented 1 year ago

主要是参考了OpenDouBan这个插件,看了一下他那边的前后端分析,后端Server(douban-api-rs,也可以设置douban_cookie系统环境变量)刮削大批量数据时,并未被封禁IP。

主要可以参考的避免被封IP或者被查机器人校验的思路:

  1. 个人配置中新增电影之间的刮削间隔时间,并随机加减(-2, 2)区间内的秒数。比如个人设置刮削间隔时间为3s,每次刮削一部电影后,都会随机停止1s到5s之间的时间,再进行刮削下一部电影。
  2. 设置多影片刮削后休息时间,两个参数,一个是几部电影,一个是休息多长时间。比如设置刮削10部电影后,休息1分钟;
  3. 配置豆瓣cookie;
cxfksword commented 1 year ago

douban-api-rs也是我开发的,里面没有做防封禁特殊处理,暂时不了解豆瓣的封禁是怎样处理的

cxfksword commented 1 year ago

1.3版配置中增加了防封禁功能,你可以打开试下

hezhiming1995 commented 1 year ago

感谢大佬支持!强无敌,LGTY