search

Cl0udG0d / Fofa-hack

非付费会员，fofa数据采集工具
GNU General Public License v2.0
556 stars 99 forks source link

咨询下采集逻辑 #52

Closed djerryz closed 8 months ago

djerryz commented 8 months ago

在采集数据时，是通过递减before这个字段 now search key: app="XXX" && before="2023-10-16"
now search key: app="XXX" && before="2023-10-15"

我理解通过递增page字段才能采集到全量数据，那么递减before也能没有遗漏的全量覆盖嘛？

djerryz commented 8 months ago

哦哦，好像是因为这个不需要登陆所以只能查看一页 现在的情况是，普通会员当日只能有1万条免费额度，这个项目能否突破这个限制

Cl0udG0d commented 8 months ago

哦哦，好像是因为这个不需要登陆所以只能查看一页 现在的情况是，普通会员当日只能有1万条免费额度，这个项目能否突破这个限制

为什么要使用before

是因为获取的数据量是有限制的，使用before关键字才可以不断在第一页获取

递减before也能没有遗漏的全量覆盖嘛？

当然不能 鱼和熊掌不可兼得，没有用会员账号，获取到了>1页的数据，已经实现了这个项目的目标

普通会员当日只能有1万条免费额度，这个项目能否突破这个限制

理论上可以