search

Cl0udG0d / Fofa-hack

非付费会员，fofa数据采集工具
GNU General Public License v2.0
742 stars 148 forks source link

按日期每日只能下载20条数据吗？ #76

Closed Tianer1123 closed 1 week ago

Tianer1123 commented 5 months ago

大佬，非常感谢您这个软件。

我在使用得时候看到如果使用 --authorization 参数，好像会按照日期，每个日期下载10条数据。

fofa会员每次查询会消耗1次查询次数，普通会员1次查询好像最多可以查看50条数据，可以修改每次查询一页得数据量么？

如果按照日期一次查询10条或者50条数据，如果资产在当天很多，会不会漏数据？

Cl0udG0d commented 5 months ago

关于最后一个问题

如果按照日期一次查询10条或者50条数据，如果资产在当天很多，会不会漏数据？

会的，如果当天数据很多 是会存在漏数据的情况，但是鱼和熊掌不可兼得，目前来看只能这样

Cl0udG0d commented 5 months ago

大佬，非常感谢您这个软件。

我在使用得时候看到如果使用 --authorization 参数，好像会按照日期，每个日期下载10条数据。

fofa会员每次查询会消耗1次查询次数，普通会员1次查询好像最多可以查看50条数据，可以修改每次查询一页得数据量么？

如果按照日期一次查询10条或者50条数据，如果资产在当天很多，会不会漏数据？

其实我理解这里的需求是 普通会员的查询自动切换成50条每页，这个会在下个版本更新

Tianer1123 commented 5 months ago

大佬，非常感谢您这个软件。 我在使用得时候看到如果使用 --authorization 参数，好像会按照日期，每个日期下载10条数据。 fofa会员每次查询会消耗1次查询次数，普通会员1次查询好像最多可以查看50条数据，可以修改每次查询一页得数据量么？ 如果按照日期一次查询10条或者50条数据，如果资产在当天很多，会不会漏数据？

其实我理解这里的需求是 普通会员的查询自动切换成50条每页，这个会在下个版本更新

是的，普通会员每页50条，我是在url连接中测试出来得，但是否为50条我还不太确定。 https://fofa.info/result?qbase64=InRoaW5rcGhwIg%3D%3D&page=1&page_size=50 image

Cl0udG0d commented 5 months ago

大佬，非常感谢您这个软件。 我在使用得时候看到如果使用 --authorization 参数，好像会按照日期，每个日期下载10条数据。 fofa会员每次查询会消耗1次查询次数，普通会员1次查询好像最多可以查看50条数据，可以修改每次查询一页得数据量么？ 如果按照日期一次查询10条或者50条数据，如果资产在当天很多，会不会漏数据？

其实我理解这里的需求是 普通会员的查询自动切换成50条每页，这个会在下个版本更新

是的，普通会员每页50条，我是在url连接中测试出来得，但是否为50条我还不太确定。 https://fofa.info/result?qbase64=InRoaW5rcGhwIg%3D%3D&page=1&page_size=50 image

是的 普通会员一次可以获取到50条数据，我之前的代码里面限制了10条，已经在新版本里面改过来了

可以试试这个 加--authorization参数 fofa hack v2.4.15

jiemo9527 commented 2 weeks ago

能不能拿到时分秒 lastupdatetime或者mtime，否则每天只能50条

Cl0udG0d commented 1 week ago

能不能拿到时分秒 lastupdatetime或者mtime，否则每天只能50条

关于这个问题

为什么没有加这个参数来进行过滤 是因为fofa 的查询API限制了这个参数只能专业版才可以获取 所以作为游客的我们是不能用这个进行查询的

image

jiemo9527 commented 1 week ago

能不能拿到时分秒 lastupdatetime或者mtime，否则每天只能50条

关于这个问题

为什么没有加这个参数来进行过滤 是因为fofa 的查询API限制了这个参数只能专业版才可以获取 所以作为游客的我们是不能用这个进行查询的

image

mtime是可以拿到的；但是现在有个更简单的处理方式。 修改before的逻辑 before=“2024-08-01 23:00:00”则依次向前搜素每个小时（before22点、21点....），我手动查是可以过渡的，只需要加上时分秒的处理逻辑，因为fofa是每小时搜集一次数据。 那么每天可以获得~600~ 1200条了，再对语句进行细化的话拿到全部也不是没可能

Cl0udG0d commented 1 week ago

我不确定这种方式会不会数据的重复度很高 :)

下一个版本添加这个功能呢，作为一个可选项让用户使用，正常使用的时候还是默认按天获取

jiemo9527 commented 1 week ago

我不确定这种方式会不会数据的重复度很高 :)

下一个版本添加这个功能呢，作为一个可选项让用户使用，正常使用的时候还是默认按天获取

只能说获得的数据从千分之一，变成了百分之一的可能。每小时的数据之间不重复 这点我使用专业版验证过了， 在百万条的数据中，重复的可能是历史数据 约为万分之30-300左右

Cl0udG0d commented 1 week ago

使用一下最新代码呢

python fofa.py -k index -e 100 --time-type hour

image

默认还是按照天的，可以自定义选择小时

jiemo9527 commented 1 week ago

使用一下最新代码呢

python fofa.py -k index -e 100 --time-type hour

image

默认还是按照天的，可以自定义选择小时

可以的 数据量足够时，每天1200条