爬取条数问题 - Githubissues

Cl0udG0d / Fofa-hack

非付费会员，fofa数据采集工具

GNU General Public License v2.0

556 stars 99 forks source link

Closed aHlo666 closed 9 months ago

aHlo666 commented 10 months ago

指定--endcount 1000，但实际上只有100多条数据，这样运行就会报错，最后也不会生成final*.txt文件

Cl0udG0d commented 10 months ago

--endcount 1000 ，最后停止的节点其实是不可控的，因为对于fofa来说对于某个特征的关键字可能就只有十天的时间戳，例如 2023-8-21到2023-8-11，在2023-8-11之前的时间就没有了，所以在这里就强制退出了

对于第二个报错的问题，确实这部分的退出比较暴力在下一个版本里面对时间戳退出进行优化

对于第三个生成文件问题，同上，下次更新 :)

Cl0udG0d commented 10 months ago

可以把查询的关键字发给我吗，我修改之后进行本地测试一下

TibbersV6 commented 10 months ago

Cl0udG0d commented 10 months ago

运行的命令如果不发的话我脑补不出来是咋运行的

aHlo666 commented 10 months ago

可以把查询的关键字发给我吗，我修改之后进行本地测试一下

举个例子，比如菜鸟教程网站域名只有26条结果，指定爬取100条 ./fofa-hack_linux_amd64 -k "domain='runoob.com'" -e 100 最后就会报这个错误

Cl0udG0d commented 10 months ago

指定--endcount 1000，但实际上只有100多条数据

这个问题是由fofa-hack的机制决定的，可以尝试添加 --fuzz 参数

在最新版本中，如果时间戳导致停止的时候，不再会产生报错，并且会生成final*.txt文件了