search

xianhu / PSpider

简单易用的Python爬虫框架，QQ交流群：597510560
https://github.com/xianhu/PSpider
BSD 2-Clause "Simplified" License
1.83k stars 504 forks source link

为什么将parser中的working()返回的url_list设置成列表而不是集合呢？ #28

Closed humingk closed 6 years ago

humingk commented 6 years ago

你好啊，请问将url_list设置成集合的话应该能避免一些重复的url，不是更好吗？ 但是集合中的元素又不能是字典(keys),我可以将url_list改为集合,keys改为keys[1] 吗？除了:

  1. inst_parse.py 中的working()
  2. threads_inst_parse.py 中的working() 我还需要修改哪些地方呢？
humingk commented 6 years ago

不好意思我犯傻了。。