search

crawlab-team / crawlab

Distributed web crawler admin platform for spiders management regardless of languages and frameworks. 分布式爬虫管理平台，支持任何语言和框架
https://www.crawlab.cn
BSD 3-Clause "New" or "Revised" License
11.33k stars 1.78k forks source link

请教作者 #1272

Closed Will-Liang closed 1 year ago

Will-Liang commented 1 year ago

想请教下作者，开发这个crawlab爬虫管理平台需要用到哪些技术栈或知识储备呢。来自一名学生

horennel commented 1 year ago

go gin(or python flask fastapi),vue,grpc,mongodb,redis,nginx,docker

tikazyq commented 1 year ago

想请教下作者，开发这个crawlab爬虫管理平台需要用到哪些技术栈或知识储备呢。来自一名学生

您好，可以参考一下这篇文章 https://juejin.cn/post/6844903912349122573

Will-Liang commented 1 year ago

谢谢！我很好奇上传的爬虫中使用到的第三方库，管理平台是怎么去自动下载这些库的呢

tikazyq commented 1 year ago

谢谢！我很好奇上传的爬虫中使用到的第三方库，管理平台是怎么去自动下载这些库的呢

不是自动的，暂时需要手动安装