search

ZSAIm / VideoCrawlerEngine

起源于旧项目爱奇艺解析器(iqiyi-parser)在开发、维护和扩展的过程中遇到的一些问题，而实现的一个基于任务流式的可视化爬虫引擎。引擎的执行单元是节点。脚本节点(script)作为根节点来完成对节点和流程的描述，经由任务节点(task)解析流程描述并生成节点的执行队列，最后交由工作者执行池处理。整个过程可视可控，所有节点处理器都以插件的形式导入，以最大程度实现易扩展性。
454 stars 90 forks source link

安装环境运行报错 #1

Closed lzkgbld closed 3 years ago

lzkgbld commented 4 years ago

使用的系统是centos7.64位，Python版本3.6.8。 已经按照文档要求先使用pip install -r requirements.txt安装相关环境，但是最后Python mian.py的时候报错。 File "main.py", line 2, in from script import init_scripts File "/home/VideoCrawlerEngine-master/script/init.py", line 5, in from utils import utility_package, split_name_version File "/home/VideoCrawlerEngine-master/utils.py", line 12, in from debugger import dbg File "/home/VideoCrawlerEngine-master/debugger.py", line 3, in from contextvars import ContextVar ModuleNotFoundError: No module named 'contextvars'

jiangliuer-beep commented 3 years ago

使用的系统是centos7.64位，Python版本3.6.8。 已经按照文档要求先使用pip install -r requirements.txt安装相关环境，但是最后Python mian.py的时候报错。 File "main.py", line 2, in from script import init_scripts File "/home/VideoCrawlerEngine-master/script/init.py", line 5, in from utils import utility_package, split_name_version File "/home/VideoCrawlerEngine-master/utils.py", line 12, in from debugger import dbg File "/home/VideoCrawlerEngine-master/debugger.py", line 3, in from contextvars import ContextVar ModuleNotFoundError: No module named 'contextvars'

contextvars包安装错误，你可以用匹配手动安装一下，使用pip install contextvars, 或者使用pip install contextvars=XXX，其中的XXX代表包的版本，可以从requirements.txt中看到。