issues
search
zengsn
/
name-crawler-python
Chinese name crawler written by Python
2
stars
2
forks
source link
settings
#7
Open
findsomeoneyys
opened
8 years ago
findsomeoneyys
commented
8 years ago
一些配置文件的路径
爬取规则设置
数据库的设定
避免被禁止(ban)
使用user agent池,轮流选择之一来作为user agent。池中包含常见的浏览器的user agent(google一下一大堆)
禁止cookies(参考 COOKIES_ENABLED),有些站点会使用cookies来发现爬虫的轨迹。
设置下载延迟(2或更高)。DOWNLOAD_DELAY
使用IP池