Open ai0by opened 5 years ago
https://sbcoder.cn/2019/03/28/192tt_Spider.html
观察目录结构目标网站:192tb.com网站结构复杂,但也不是太复杂,总体来说都写在导航栏上面了,本以为是new分类下就是所有的文章了,后来发现不是,需要遍历整个导航分类,由于每个分类都有很庞大的资源,因此我决定写成配置文件的形式,建立config.py 1234567891011121314# -- coding: utf-8 --mt = 'https://www.192tb.com/l
https://sbcoder.cn/2019/03/28/192tt_Spider.html
观察目录结构目标网站:192tb.com网站结构复杂,但也不是太复杂,总体来说都写在导航栏上面了,本以为是new分类下就是所有的文章了,后来发现不是,需要遍历整个导航分类,由于每个分类都有很庞大的资源,因此我决定写成配置文件的形式,建立config.py 1234567891011121314# -- coding: utf-8 --mt = 'https://www.192tb.com/l