TiktokDouyinCrawler

国外Tiktok+国内抖音评论爬虫， msToken、ttwid、webid、a-bogus和x-bogus算法破解

注意

源码仅作为和大家一起学习Python使用，你可以免费: 拷贝、分发和派生当前源码。

但你用于商业目的及其他恶意用途，作者也不会管你，耗子尾汁

项目普及技术：JS逆向（调用JS文件）

最好使用代理IP爬取，最近发现Tiktok屏蔽香港的IP，代理国外IP最好用美国的

x-bogus

x-bogus是一种防数据包伪造的一个参数， 又称为x伪造，主要用于反爬虫，这个是某节公司下面基础服务，这个反爬虫机制几乎用在了它所有的产品中，不过，只要是能正常使用，这些东西都是透明的，x-bogus生成算法。

a-bogus

同x-bogus，x-bogus的新版本

msToken

msToken可以理解成Message Token，相当于每次消息请求的令牌，主要用于请求统计，这也是具有反爬虫的机制，如果相同msToken请求太多，也会被定义成恶意请求，这时候会出现验证码校验。所以我们在使用的时候，可以用uuid或者是雪花算法的id来模拟msToken，当然长度大于32位的唯一串最好

ttwid

ttwid类似客户端id，即便是游客模式，也可以对页面数据进行埋点统计，通过收集ttwid下的用户行为数据，给与内容推荐和广告推荐。这个也是某节公司下的基础服务，所以生成的id，只要是某节下的服务都可以使用

webid

同ttwid，类似客户端id，也可以说是浏览器id，不过ttwid可在cookie获取，webid可在随意一个视频请求，返回的html文本的script里再通过正则获取

详细讲解可阅读

https://blog.csdn.net/u013444182/article/details/134933150

爬取如下：