chainreactors / gogo

面向红队的, 高度可控可拓展的自动化引擎
https://chainreactors.github.io/wiki/gogo/
GNU General Public License v3.0
1.46k stars 144 forks source link

-F处理大文件结果有点吃力 #18

Closed okoling closed 1 year ago

okoling commented 1 year ago

7.0M scan.txt_all_default_json.dat1

gogo -F scan.txt_all_default_json.dat1 -o c 处理起来挺久的 另外能不能 -F 处理导出 ip:port 这种类型 或者导出excel表格之类的

M09Ic commented 1 year ago

gogo -F scan.txt_all_default_json.dat1 -o c 处理起来挺久的

处理大文件确实比较缓慢, 后续将会作为优化的重点.

另外能不能 -F 处理导出 ip:port 这种类型 或者导出excel表格之类的

-F 可以导出很多类型的文件 , gogo -F scan.txt_all_default_json.dat1 -o target 就是ip:port文件. 如果要通过管道传给其他工具, 建议加上-q (不输出日志). 如果要输出到文件则为gogo -F scan.txt_all_default_json.dat1 -o target -f target.txt

也支持导出到其他格式, -o 的值可以为 json(可再次作为-F的输入值), csv等. 或者是-o ip,port,frame 输出tab分割的多个值.

后续将会加急更新相关的文档.

okoling commented 1 year ago

可以边读边处理,大文件要等很久才能加载完 内置的格式有哪些文档还没,等一波文档~

M09Ic commented 1 year ago

如果是format到标准格式的场景下, 因为需要合并同ip下的多个端口, 因此只能先读全部文件再进行格式化.

之后默认格式考虑改为jsonlines格式, 这样非format的场景下, 可以边读边处理快速过滤出想要的结果.

okoling commented 1 year ago

gogo -F 1.txt --filter framework::http -o target -f target.txt 可以导出http类型的 但是没Scheme

怎么直接导出所有web服务、数据库服务这种

比如我想要一批识别出来的url

http://1.1.1.1:888
https://1.1.1.1:888
M09Ic commented 1 year ago

当前支持的格式在这里. https://github.com/chainreactors/parsers/blob/master/gogo.go#L88

如果要过滤出http协议, 需要指定--filter protocol::http

如果是需要url的话,需要指定 -o url

chainreactorbot commented 1 year ago

如果没有其他问题, 我就关闭这个issue了

okoling commented 1 year ago

完美~

okoling commented 1 year ago

gogo -F里面的443端口cert证书里的域名怎么批量导出来呢