把不同爬虫爬取得到的数据写入数据库

zengsn / name-crawler-python

Chinese name crawler written by Python

2 stars 2 forks source link

Open findsomeoneyys opened 8 years ago

findsomeoneyys commented 8 years ago

使用mongo数据库用pymongo连接

findsomeoneyys commented 8 years ago

改进之后有了新想法,是否有有效的python脚本来处理页面直接提取出全部文字呢?.如果这样那么可以代码可以再缩减一些.也不用每次要爬新站点重复去检查页面,添加规则.这样可以爬取得站点就多了