TurboWay / spiderman

基于 scrapy-redis 的通用分布式爬虫框架
MIT License
591 stars 128 forks source link

cookies 定制格式 和 cookie池 怎么设置 #49

Open shanzhongxu opened 1 year ago

shanzhongxu commented 1 year ago
def __init__(self):
    super().__init__(spider_name=zhifang_Spider.name)
    self.delete()  # 如需去重、增量采集,请注释该行
    self.headers = {
        # 有反爬的话,可以在这边定制请求头
    }
    self.cookies = (
        # 多账号采集的话,可以在这边定制多个 cookie string

    )
shanzhongxu commented 1 year ago

close