对各种geo文件以及格式的疑问

lonble commented 2 months ago

你好，我读过mihomo的文档和meta-rules-dat的README后发现有一些东西并没有说明，不知道在这里问是否合适，如果有相关文档也麻烦贴一下，不胜感激。

Loyalsoldier/v2ray-rules-dat里只有一种.dat格式，meta-rules-dat有.dat, .db, .mmdb, metadb，这几种格式有什么区别？

Loyalsoldier/v2ray-rules-dat里只有geoip和geosite两个文件，meta-rules-dat多了一个country.mmdb，这个文件有什么特殊作用？

mihomo配置里的geodata-mode只提到了.dat和.mmdb，其他两种格式是否不被mihomo支持？

mihomo配置里的geox-url为什么有单独的mmdb选项，mmdb和asn貌似不受geodata-mode的限制？

adoyle-h commented 2 months ago

我也有此疑惑，文档没解释清楚

potoo0 commented 2 months ago

我也不清楚，另外我还不清楚 rule-set 内引用 meta branch 的和 geoip/site 什么区别，有多少重叠。我这两天看了一些高 star 分享，很多配置都是一大堆 rule-providers 和 rule，但其实有很多都重叠。

potoo0 commented 2 months ago

今天早上粗略查了下，说下我的理解，可能不准确。

geosite.db: clash 源码里未发现读取的地方, 猜测 clash 不支持此格式
geosite.dat: 源码 path.GeoSite, 存放域名的地方, 这些域名会按照一定规则分组称为 域名类别, 比如 domain:ip.cn 属于 cn; domain:git.io domain:githubusercontent.com 属于 github. 这个文件可以通过 metacubex/geo 解压查看.
country.mmdb: 格式是 maxmind 定义的 IP geolocation databases，用途是根据 ip 地址查询国家/城市/时区等信息，而名称的 country 是指只包含到国家的信息，而没有城市/时区，具体可容纳的信息见它的 pdf 说明 GeoLite2-IP-MetaData-Databases-Comparison-Chart. 而这个仓库的此文件来自 Loyalsoldier/geoip, 其在 maxmind 提供的标准基础上新增了域名类别(cloudflare/google...) 等等, 具体见其说明与官方版 GeoIP 的区别
geoip.db/geoip.metadb: 根据源码 path.MMDB 来看 Country.mmdb/geoip.db/geoip.metadb 只会取一个用来比较 ip 归属国家的 (geoip.Match), 所以对于 clash 来说这三者可看作同一份数据, 以下简称为 Country.mmdb 系列
geoip.dat: 根据源码大量 C.GeodataMode (update_geo.UpdateGeoDatabases) 的判断来看, Country.mmdb 系列 和 geoip.dat 是二选一的. 而此仓库的来自 Loyalsoldier/geoip 所以其实这四种都是同一份数据的不同格式.

总结:

Country.mmdb/geoip.db/geoip.metadb 和 geoip.dat 是二选一的, 四者内部都是同一份数据, 通过配置 GEOIP 数据模式来决定.
geosite.db 不支持
geosite.dat 按照地区(cn...)/服务商(如 google/github...)等分组的域名
xxx-lite 就是 xxx 的精简版

2024/04/17 geosite.dat 数据概览:

geo unpack site ./geosite.dat -d sites
ls sites -1 | wc -l
# >>> 1257

dust sites
#  16K   ┌── meta                  │█                                       │   0%
#  16K   ├── microsoft             │█                                       │   0%
#  16K   ├── tld-!cn               │█                                       │   0%
#  16K   ├── win-extra             │█                                       │   0%
#  16K   ├── win-update            │█                                       │   0%
#  20K   ├── beats                 │█                                       │   0%
#  20K   ├── category-ads          │█                                       │   0%
#  20K   ├── category-ecommerce    │█                                       │   0%
#  20K   ├── category-games        │█                                       │   0%
#  24K   ├── category-ads-all      │█                                       │   0%
#  28K   ├── google                │█                                       │   0%
#  32K   ├── category-media        │█                                       │   0%
#  36K   ├── category-entertainment│█                                       │   0%
#  48K   ├── apple                 │█                                       │   1%
#  96K   ├── geolocation-cn        │█                                       │   1%
# 124K   ├── gfw                   │█                                       │   2%
# 140K   ├── category-porn         │█                                       │   2%
# 148K   ├── category-companies    │█                                       │   2%
# 520K   ├── geolocation-!cn       │███                                     │   7%
# 1.4M   ├── cn                    │████████                                │  18%
# 7.8M ┌─┴ sites                   │███████████████████████████████████████ │ 100%

potoo0 commented 2 months ago

@adoyle-h 可以看下我上面分享的, 有问题一起讨论

lim-kim930 commented 1 month ago

还有个问题，geosite.dat这个文件， meta-rules-dat的版本和v2ray-rules-dat版本的并不一样，country.mmdb和geoip.dat倒是一样的，不知道这两个有什么具体区别，根据Readme似乎是新增合并了一些域名数据，但是文件大小却小还了2MB，有点疑惑😂

escapezn commented 1 month ago

还有个问题，geosite.dat这个文件， meta-rules-dat的版本和v2ray-rules-dat版本的并不一样，country.mmdb和geoip.dat倒是一样的，不知道这两个有什么具体区别，根据Readme似乎是新增合并了一些域名数据，但是文件大小却小还了2MB，有点疑惑😂

meta的geosite删去了大量category-ads-all域名规则

MetaCubeX / meta-rules-dat

对各种geo文件以及格式的疑问 #44