search

Evil0ctal / Douyin_TikTok_Download_API

🚀「Douyin_TikTok_Download_API」是一个开箱即用的高性能异步抖音、快手、TikTok、Bilibili数据爬取工具，支持API调用，在线批量解析及下载。
https://douyin.wtf
Apache License 2.0
7.69k stars 1.22k forks source link

Cookie更换频率和请求频率 #417

Open scn0901 opened 1 month ago

scn0901 commented 1 month ago

我在尝试使用自己部署的服务爬取TikTok的视频评论。我想请教一下作者：为了避免被平台控，Cookie推荐多长时间换一次？以及请求频率推荐为多快？此外，是否有其他的避免被控的注意事项？谢谢～

yuanmomoya commented 4 weeks ago

我在尝试使用自己部署的服务爬取TikTok的视频评论。我想请教一下作者：为了避免被平台控，Cookie推荐多长时间换一次？以及请求频率推荐为多快？此外，是否有其他的避免被控的注意事项？谢谢～

cookie可以很久不用换，我这边试着一周是没有问题的，我这边试着是抖音会封IP，你可以加下网络代理，请求频率最好是30s的随机时间，这样就可以用很久

scn0901 commented 4 weeks ago

谢谢@yuanmomoya的解答！我想再问一下就是加代理会不会导致Cookie或账户被封，因为可能会频繁地更换ip而被检测？此外，是否有方法可以在确保账户不被封的情况下，尽可能提升爬取速度？以及@Evil0ctal有建议嘛？爬虫小白谢谢各位哇！

Evil0ctal commented 3 weeks ago

抖音和TikTok一般不会封号，如果cookie失效，重新手动获取即可，使用代理的情况下没有测试过。

yuanmomoya commented 3 weeks ago

抖音和TikTok一般不会封号，如果cookie失效，重新手动获取即可，使用代理的情况下没有测试过。

算是封请求url 我这边遇到的是会封禁请求 就是不能进入视频详情页，进入详情页就异常了，自动跳转其它视频页了 其它功能正常

Evil0ctal commented 3 weeks ago

嗯嗯对的，这个情况抖音会出现，TikTok则没有。

scn0901 commented 3 weeks ago

嗯嗯谢谢！还想问下有没有一些推荐的爬虫策略哇？我想尽量让请求不报错400，并且加快爬取速度orz

scn0901 commented 3 weeks ago

我还想问下如何识别各种错误类型（例如：Cookie失效、爬取速度过快、TikTok服务器内部错误等）？这个API服务针对各种错误类型是否有特殊的错误码/log信息等？因为我想debug和处理各种错误～

yuanmomoya commented 3 weeks ago

嗯嗯谢谢！还想问下有没有一些推荐的爬虫策略哇？我想尽量让请求不报错400，并且加快爬取速度orz

账号池 多搞几个部署下，自己封装一层分发请求到部署的 随机一下请求时间，可以用很久 量大的请求还是买api靠谱，项目作者提供api还是可以的 可以是下

scn0901 commented 3 weeks ago

嗯嗯谢谢！还想问下有没有一些推荐的爬虫策略哇？我想尽量让请求不报错400，并且加快爬取速度orz

账号池 多搞几个部署下，自己封装一层分发请求到部署的 随机一下请求时间，可以用很久 量大的请求还是买api靠谱，项目作者提供api还是可以的 可以是下

好滴好滴！我先试试自己用账号池部署啦，实在不行我就用作者API。谢谢你！！！