search

Boris-code / feapder

🚀🚀🚀feapder is an easy to use, powerful crawler framework | feapder是一款上手简单，功能强大的Python爬虫框架。内置AirSpider、Spider、TaskSpider、BatchSpider四种爬虫解决不同场景的需求。且支持断点续爬、监控报警、浏览器渲染、海量数据去重等功能。更有功能强大的爬虫管理系统feaplat为其提供方便的部署及调度
http://feapder.com
Other
2.88k stars 476 forks source link

修改PyExecJS为PyExecJS2库，可在多线程中执行 #225

Closed ubadly closed 1 year ago

ubadly commented 1 year ago

在download_middlerware 中动态修改headers里面token需要调用js_code时使用PyExecJS会报错，改为PyExecJS2可解决此问题！

ubadly commented 1 year ago

fix-execjs-thread error

Boris-code commented 1 year ago

看了下源码，就加了个Popen的编码，应该和你多线程没关系。如果确实可以，那这也可以通过pip安装解决，不用内置到feapder里，防止不稳定