[项目申请]:

[Ciyfly]

基本要求

• [X] 1. 项目完全开源并遵守开源协议
• [X] 2. 项目提供README等项目描述
• [X] 3. 项目属于计算机安全范畴
• [X] 4. 项目具备一定的实用价值
• [X] 5. 项目不包含恶意功能或源码
• [X] 6. 项目将会积极维护

项目名称

Argo

项目地址

https://github.com/Ciyfly/Argo

项目简介

基于go-rod的自动化通用爬虫 用于自动化获取网站的URL

项目亮点

支持如下

1. 智能触发页面事件 比如点击后有新增的dom 会优先进行处理
2. 智能登录网站 暂不支持有验证码的情况
3. 支持hook全流量 通过go-rod的 HijackRequests 获取浏览器的全部流量输出请求及响应内容
4. 对URL进行去重 最后输出存储的都是去重后的
5. 支持多格式结果输出 txt、json、xlsx、html
6. 支持 回放yaml格式的脚本 会按照顺序执行操作
7. 支持开启浏览器界面 支持debug输出
8. 支持代理
9. 支持url深度层数控制
10. 支持控制是否存储完整请求响应base64字符串 json格式
11. 支持程序自动升级
12. 支持批量项目

采用静态解析html javascript 获取url 结合js动态点击触发并获取url的方式 实现新tab页的创建 通过go-rod的hook request的方式获取所有请求相关
通过泛化url进行去重

[Knownsec404team]

您好，感谢投稿。项目未通过404星链计划技术评审环节，期待项目后续的更新和迭代，随时欢迎再次投稿，谢谢！