视频爬虫引擎是以自定义脚本为草图,生成请求器工作流,实现可控可视的流水线执行。 意在提高脚本的开发效率,让开发者专注于解决反爬。
Python
+ Fastapi
应用架构
中间件:
./app/api/
任务流:
./app/taskflow/
脚本引擎:
./app/script/
Vue
+ Vuetify
开发路径:
./app/html/
显示所有被创建的任务。
显示任务的具体运行情况,包括执行流程、进度、日志等情况。
应用的所有可配置信息(配置文件处于./conf/
目录下)
查看应用的运行状态,其中包括工作线程池运行情况。
Python >= 3.7
安装Python库依赖(建议使用虚拟环境)
pip install -r requirements.txt
新建venv目录
mkdir venv venv
创建虚拟环境
python venv venv
进入虚拟环境
./venv/Scripts/activate
按照上面依赖
中的依赖库安装方式进行安装依赖
进入项目目录,运行如下启动后台服务器
python main.py
注意:上述命令会启动三个后台服务器, 分别是(Api, Script, TaskFlow)
在默认配置文件下:
Api应用: http://127.0.0.1:2333
TaskFlow应用: http://127.0.0.1:2332
Script应用: http://127.0.0.1:2331
依赖安装方式参考上面的安装
安装Nodejs
安装yarn
npm install yarn -g
进入./app/html
cd ./app/html
安装依赖库
yarn install
运行调试器
yarn dev
编译项目
yarn build
Apache-2.0