M09Ic
commented
1 year ago 爬虫是一个单独的参数, 如果不设置字典， 例如 spray -u http://example.com --crawl 则仅爬虫.
如果同时启用了字典与爬虫, 则是同时进行的. 如果想要减少爆破次数, 仅开启--crawl不设置字典即可.
Closed go-spider closed 1 year ago
M09Ic
commented
1 year ago 爬虫是一个单独的参数, 如果不设置字典， 例如 spray -u http://example.com --crawl 则仅爬虫.
如果同时启用了字典与爬虫, 则是同时进行的. 如果想要减少爆破次数, 仅开启--crawl不设置字典即可.
go-spider
commented
1 year ago 希望能加一个先爬再爆破的功能，最好是配上headless爬虫（主要针对webpack打包那种网站），先爬出来的目录，后续字典里面碰到这个路径不再爆破
M09Ic
commented
1 year ago 目前spray已会自动去重, 已经请求过的目录不会跑第二遍.
至于headless爬虫, 与spray本身的设计不适应. 如果有headless爬虫的需求, 可以使用katana 或 rad等.
如果有spray与katana联动的思路欢迎提供新的issue.
是先爬？还是主动和爬虫并行？先爬+js解析出一部分目录，可以减少爆破次数。