Closed painttist closed 1 year ago
这可能是request发太频繁了触发反爬了。。。
我感觉第二个问题应该是的。第一个感觉跟反爬可能不太相关,可能有一些UP每页50项会因为标题太大导致超时?主要报错是 504。调小每页的条目数似乎就解决了,不过我不太确定原理。
所以这个up是在任何情况下,50项都不行?50也是为了尽量减小request的数量。
我目前测试下来是这样子的。测试方式是点进UP空间的第一个视频,然后查看右边推荐栏里的信息。我分别在 Mac 和 Windows 10 的 Chrome 111 上测试了,也换了WIFI和手机流量。都是一样的问题。
也许可以根据反馈的错误信息来动态调整 request 的项目数?不过可能有点复杂,而且我目前只遇到了这一个 UP 有这种情况。
我感觉这还是个偶然事件。首先在访问一次(部分)失败之后,它会把这个结果cache一下……所以如果不刷新页面,这个up的结果就一直是错的。我刚才在我本地试了一下,这个up是可以拿到信息的。所以可能还是触发了某些机制导致不好使了……
在测试热门页面的时候,意外发现这个UP主的信息无法正常显示 https://space.bilibili.com/362163302
测试之后发现从视频旁边的推荐视频里查看也不行
初步排查我以为是一页50个太多了,改成了20个 改完之后视频推荐可以访问了
不过热门页面的还是无法访问,看起来是触发了什么反爬虫机制 代码 -401