gaogaotiantian / biliscope

Bilibili chrome extension to show uploader's stats
MIT License
594 stars 46 forks source link

有些UP似乎无法正常访问 #3

Closed painttist closed 1 year ago

painttist commented 1 year ago

在测试热门页面的时候,意外发现这个UP主的信息无法正常显示 https://space.bilibili.com/362163302 chrome_2023-03-11_12-19-00

测试之后发现从视频旁边的推荐视频里查看也不行 chrome_2023-03-11_12-39-47

初步排查我以为是一页50个太多了,改成了20个 改完之后视频推荐可以访问了

chrome_2023-03-11_12-40-12

不过热门页面的还是无法访问,看起来是触发了什么反爬虫机制 代码 -401

chrome_2023-03-11_12-47-17

gaogaotiantian commented 1 year ago

这可能是request发太频繁了触发反爬了。。。

painttist commented 1 year ago

我感觉第二个问题应该是的。第一个感觉跟反爬可能不太相关,可能有一些UP每页50项会因为标题太大导致超时?主要报错是 504。调小每页的条目数似乎就解决了,不过我不太确定原理。

gaogaotiantian commented 1 year ago

所以这个up是在任何情况下,50项都不行?50也是为了尽量减小request的数量。

painttist commented 1 year ago

我目前测试下来是这样子的。测试方式是点进UP空间的第一个视频,然后查看右边推荐栏里的信息。我分别在 Mac 和 Windows 10 的 Chrome 111 上测试了,也换了WIFI和手机流量。都是一样的问题。

也许可以根据反馈的错误信息来动态调整 request 的项目数?不过可能有点复杂,而且我目前只遇到了这一个 UP 有这种情况。

gaogaotiantian commented 1 year ago

我感觉这还是个偶然事件。首先在访问一次(部分)失败之后,它会把这个结果cache一下……所以如果不刷新页面,这个up的结果就一直是错的。我刚才在我本地试了一下,这个up是可以拿到信息的。所以可能还是触发了某些机制导致不好使了……