Open icimence opened 4 years ago
https://icimence.cn/2020/05/04/%E8%B1%86%E7%93%A3%E5%9B%BE%E4%B9%A6%E7%88%AC%E8%99%AB/
引言 因为在小程序的开发过程中用到了python的爬虫就在这里写下来了，以后的爬虫可以把这个作为一个模板。 代码User.py这个文件的存在是为了生成不同的请求头，这个UserAgent就是一个用户代理，每个浏览器都会有的，爬虫如果不加这个UserAgent，会被网页默认为不通过浏览器来访问，认为是机器，就会限制访问，防止因为被服务器识别为机器人导致IP被封。 import
https://icimence.cn/2020/05/04/%E8%B1%86%E7%93%A3%E5%9B%BE%E4%B9%A6%E7%88%AC%E8%99%AB/
引言 因为在小程序的开发过程中用到了python的爬虫就在这里写下来了，以后的爬虫可以把这个作为一个模板。 代码User.py这个文件的存在是为了生成不同的请求头，这个UserAgent就是一个用户代理，每个浏览器都会有的，爬虫如果不加这个UserAgent，会被网页默认为不通过浏览器来访问，认为是机器，就会限制访问，防止因为被服务器识别为机器人导致IP被封。 import