nange / gospider

golang实现的爬虫框架,使用者只需关心页面规则,提供web管理界面。基于colly开发。
MIT License
403 stars 107 forks source link

支持调用浏览器执行爬虫任务 #46

Open nange opened 5 years ago

nange commented 5 years ago

对于那些动态渲染的页面内容,需要支持调用浏览器去做爬虫任务。 考虑基于chromedp完成此项工作,接口需要仔细考虑。另外chromedp现在还存在一些问题,需要等待其v2版本,预计未来一到两周会发布v2 alpha版本,可以基于此版本考虑如何设计相关接口。