blackmatrix7 / ios_rule_script

分流规则、重写写规则及脚本。
GNU General Public License v2.0
18.29k stars 2.97k forks source link

脚本/分流/复写规则更新日志 #112

Closed blackmatrix7 closed 3 years ago

blackmatrix7 commented 3 years ago

2020年12月30日

1. 重命名部分文件

如果出现404,请使用新的文件链接。

2. 调整Shadowrock和Clash的分流规则生成

感谢:https://github.com/blackmatrix7/ios_rule_script/issues/135

3. 增加重定向的复写

重定向的复写可能存在安全风险,例如将正常的网站重定向到钓鱼网站,以窃取输入的数据。当前提供的重定向复写,仅是对上游数据源的整合去重,未对安全性做任何校验,使用需要自行承担风险。强烈建议使用前逐条阅读重定向规则,确认重定向的目标安全后,禁止此链接更新,或将此文件复制到本地使用。

2020年12月29日

1. 增加Shadowrocket分流规则

在Surge的基础上独立出Shadowrocket分流规则,欢迎测试。

2. Surge去广告复写增加Mock

Surge模块通过Mock来实现类似reject-dict、reject-200的复写,测试中,尚不清楚效果如何。如果不希望使用Mock,可以使用Advertising_Classical.sgmodule、AdvertisingScript_Classical.sgmodule模块,采用传统的方案将reject-dict等转换为reject。

3. 整合脚本去广告复写

程序自动整合知乎、BiliBili、什么值得买三个APP的去广告复写,及脚本去除开屏广告的复写,欢迎测试。 https://github.com/blackmatrix7/ios_rule_script/tree/master/rewrite/Surge/AdvertisingScript https://github.com/blackmatrix7/ios_rule_script/tree/master/rewrite/Loon/AdvertisingScript

4. 增加Rockstar分流规则

R星的分流规则,GTA5、大表哥2之类,待测试。

2020年12月28日

1. 增加通过脚本去开屏广告的复写

使用脚本,通过修改开屏广告图片大小、开屏广告持续时间、开屏广告生效时间等方法,去除缓存到本地的APP开屏广告。

2. 图标自动备份

采用只增不删的策略,自动备份其他仓库的图片,以缓解有时原作者将图片删除导致APP内引用的图片链接失效的问题。

2020年12月23日

1. 增加GetCookie复写

通过程序自动整合我自己签到脚本获取Cookie的复写,测试中……

2020年12月21日

1. Hostname去重

原先只对MITM中完全一致的Hostname去重,现在加入包含关系的判断:如 pan.baidu.com 包含在 *.baidu.com中,则pan.baidu.com会被去除。

2020年12月20日

1. 域名解析

增加域名连续3天无法解析才丢弃的判断,减少因为偶尔外部原因导致规则被丢弃的问题。

2020年12月17日

1. DOMAIN-SUFFIX之间去重合并

原先只对DOMAIN和DOMIAN-SUFFIX间去重合并,现在增加新的处理功能,可以根据DOMAIN-SUFFIX之间的包含关系进行去重。

2. IP-CIDR合并

加入一个新的约49万条IP规则的ChinaIPs数据源,49万条对于任意APP几乎都是不可用的状态,所以增加IP-CIDR去重合并功能,去重后约6000多条规则。目前没有详细测试6000多条能否包含这49万条的规则,有兴趣可以尝试一下。

3. 域名解析

对于DOMAIN类型的规则,增加查询域名解析记录的功能,对于无法正常解析的域名,直接丢弃此规则。增加此逻辑是为清理去广告规则中含有部分无法访问域名的无效规则,在不影响去广告效果的情况下,尽量减少规则数量。 经过处理后,Advertising的规则数量由9万多条减少到5万多条,AdvertisingLite的规则数量由接近4万条减少到2万4千多条,AdvertisingTest由10万多条减少到7万条。 无效域名去重后的效果有待一起验证。

blackmatrix7 commented 3 years ago

如果有问题请统一在这里反馈。

KANGNAMEMEDA commented 3 years ago

实时版的quantumult x分流规则的ip cidr变成了数字 app不能正常更新

blackmatrix7 commented 3 years ago

实时版的quantumult x分流规则的ip cidr变成了数字 app不能正常更新

已经修复

blackmatrix7 commented 3 years ago

增加域名连续3天无法解析才丢弃的判断,减少因为偶尔外部问题导致规则被丢弃的问题。

ghost commented 3 years ago

dfp.suning.com这个拦截会导致苏宁客户端签到显示火爆,dns.jd.com偶尔会导致京东客户端浏览时断联。

blackmatrix7 commented 3 years ago

dfp.suning.com这个拦截会导致苏宁客户端签到显示火爆,dns.jd.com偶尔会导致京东客户端浏览时断联。

已经更新了

KMJ-2020 commented 3 years ago

大佬,后期可能增加一些其他规则吗?

blackmatrix7 commented 3 years ago

大佬,后期可能增加一些其他规则吗?

比如?

KMJ-2020 commented 3 years ago

大佬,后期可能增加一些其他规则吗?

比如?

哈哈,这个不好说,我现在全用你的重写和分流,看到其他大佬有一些其他的分流,就是一些建议吧,分流规则多一些的话选择性也高,受累了,还要你这么精心的维护

blackmatrix7 commented 3 years ago

大佬,后期可能增加一些其他规则吗?

比如?

哈哈,这个不好说,我现在全用你的重写和分流,看到其他大佬有一些其他的分流,就是一些建议吧,分流规则多一些的话选择性也高,受累了,还要你这么精心的维护

增加问题应该不大,就是不知道增加哪些,如果你有建议可以发给我一下。

KMJ-2020 commented 3 years ago

大佬,后期可能增加一些其他规则吗?

比如?

哈哈,这个不好说,我现在全用你的重写和分流,看到其他大佬有一些其他的分流,就是一些建议吧,分流规则多一些的话选择性也高,受累了,还要你这么精心的维护

增加问题应该不大,就是不知道增加哪些,如果你有建议可以发给我一下。

好的,有啥建议的我回复您,谢谢您能够及时回复。

blackmatrix7 commented 3 years ago

大佬,后期可能增加一些其他规则吗?

比如?

哈哈,这个不好说,我现在全用你的重写和分流,看到其他大佬有一些其他的分流,就是一些建议吧,分流规则多一些的话选择性也高,受累了,还要你这么精心的维护

增加问题应该不大,就是不知道增加哪些,如果你有建议可以发给我一下。

好的,有啥建议的我回复您,谢谢您能够及时回复。

好的,客气了。

KANGNAMEMEDA commented 3 years ago

大佬 ad lite里面有部分规则导致其他人分享的 哔哩哔哩视频 在qq中不能正常显示
如HOST-SUFFIX,btrace.qq.com,WhiteList HOST-SUFFIX,btrace.video.qq.com,WhiteList 我加入白色名后有的可以 有的视频分享还是不正常 表现为 点击重试 灰色底方块

blackmatrix7 commented 3 years ago

大佬 ad lite里面有部分规则导致其他人分享的 哔哩哔哩视频 在qq中不能正常显示 如HOST-SUFFIX,btrace.qq.com,WhiteList HOST-SUFFIX,btrace.video.qq.com,WhiteList 我加入白色名后有的可以 有的视频分享还是不正常 表现为 点击重试 灰色底方块

做了一些调整,你再看看。

chenyiping1995 commented 3 years ago

建议放开 wiki 权限。我可以编写不同客户端的使用方式并给出较为基本的配置文件。

blackmatrix7 commented 3 years ago

建议放开 wiki 权限。我可以编写不同客户端的使用方式并给出较为基本的配置文件。

谢谢你的好意,不过不给出客户端使用方法和基础配置文件是有意为之。因为国内众所周知的原因,目前不希望这个项目因为科学上网受到过多关注,同时也不打算为科学上网这个事情提供任何帮助,望谅解。如果可以提供除科学上网之外的wiki十分欢迎。

saymiss commented 3 years ago

感谢大佬的辛苦付出,希望大佬可以同步更新一下BoxJs,拜谢

KMJ-2020 commented 3 years ago

重新规则获取cookie里没有京东ck获取是吧?希望添加

blackmatrix7 commented 3 years ago

感谢大佬的辛苦付出,希望大佬可以同步更新一下BoxJs,拜谢

这个可能要晚点。

blackmatrix7 commented 3 years ago

感谢大佬的辛苦付出,希望大佬可以同步更新一下BoxJs,拜谢

可以考虑增加

ghost commented 3 years ago

dfp.suning.com这个拦截会导致苏宁客户端签到显示火爆,dns.jd.com偶尔会导致京东客户端浏览时断联。

号被限制注销了,后面的使用过程中发现导致京东断联的是京东历史价格的复写,应该是与dns.jd.com这个拦截无关,麻烦大佬你恢复下。

blackmatrix7 commented 3 years ago

dfp.suning.com这个拦截会导致苏宁客户端签到显示火爆,dns.jd.com偶尔会导致京东客户端浏览时断联。

号被限制注销了,后面的使用过程中发现导致京东断联的是京东历史价格的复写,应该是与dns.jd.com这个拦截无关,麻烦大佬你恢复下。

暂时不考虑加上了,因为我也觉得dns.jd.com,看起来不像是作为广告的域名…

DomKing commented 3 years ago

知乎广告拦截会失效。通过抓包发现,知乎回答列表,有时域名用的是https://api.zhihu.com/v4,有时用的是https://www.zhihu.com/api/v4

blackmatrix7 commented 3 years ago

知乎广告拦截会失效。通过抓包发现,知乎回答列表,有时域名用的是https://api.zhihu.com/v4,有时用的是https://www.zhihu.com/api/v4

没有遇到过这样的情况,你把抓包结果发我看下。

KMJ-2020 commented 3 years ago

好久没回来看看新规则了,刚才看了一眼,有两个地方可能需要您改一下,那个Googledriver和onedriver是不是应该叫Googledrive和onedrive,大庭广众这样可能不太好,望更改,谢谢!!!辛苦!!!

blackmatrix7 commented 3 years ago

好久没回来看看新规则了,刚才看了一眼,有两个地方可能需要您改一下,那个Googledriver和onedriver是不是应该叫Googledrive和onedrive,大庭广众这样可能不太好,望更改,谢谢!!!辛苦!!!

过一会我修改一下。

KMJ-2020 commented 3 years ago

好久没回来看看新规则了,刚才看了一眼,有两个地方可能需要您改一下,那个Googledriver和onedriver是不是应该叫Googledrive和onedrive,大庭广众这样可能不太好,望更改,谢谢!!!辛苦!!!

没看明白,麻烦详细说下。

quantumultX分流规则里有两个分流规则应该叫Googledrive和onedrive,这个问题体现在了quantumultX引用后策略组显示为Googledriver和onedriver,强迫症患者表示很难受

blackmatrix7 commented 3 years ago

好久没回来看看新规则了,刚才看了一眼,有两个地方可能需要您改一下,那个Googledriver和onedriver是不是应该叫Googledrive和onedrive,大庭广众这样可能不太好,望更改,谢谢!!!辛苦!!!

没看明白,麻烦详细说下。

quantumultX分流规则里有两个分流规则应该叫Googledrive和onedrive,这个问题体现在了quantumultX引用后策略组显示为Googledriver和onedriver,强迫症患者表示很难受

改好了

KMJ-2020 commented 3 years ago

好久没回来看看新规则了,刚才看了一眼,有两个地方可能需要您改一下,那个Googledriver和onedriver是不是应该叫Googledrive和onedrive,大庭广众这样可能不太好,望更改,谢谢!!!辛苦!!!

没看明白,麻烦详细说下。

quantumultX分流规则里有两个分流规则应该叫Googledrive和onedrive,这个问题体现在了quantumultX引用后策略组显示为Googledriver和onedriver,强迫症患者表示很难受

改好了

谢谢

augustusy commented 3 years ago

https://raw.githubusercontent.com/blackmatrix7/ios_rule_script/master/rewrite/QuantumultX/Advertising/Advertising.conf 规则中MITM的Hostname去重好像不是很干净,比如: api.smzdm.com ap.smzdm.com .126.net .music.126.net p.c.music.126.net .127.net .music.127.net easyreadfs.nosdn.127.net .baidu.com c.tieba.baidu.com *.snssdk.com snssdk.com

以及enjoy.abchina.com(农业银行app)有hostname但是没有对应的规则。

请楼主检查,谢谢

blackmatrix7 commented 3 years ago

https://raw.githubusercontent.com/blackmatrix7/ios_rule_script/master/rewrite/QuantumultX/Advertising/Advertising.conf

规则中MITM的Hostname去重好像不是很干净,比如:

api.smzdm.com

ap*.smzdm.com

*.126.net

*.music.126.net

p.c.music.126.net

*.127.net

*.music.127.net

easyreadfs.nosdn.127.net

*.baidu.com

c.tieba.baidu.com

*.snssdk.com

snssdk.com

以及enjoy.abchina.com(农业银行app)有hostname但是没有对应的规则。

请楼主检查,谢谢

去重选择的是比较保守的方式,以保证复写正常为首要目的,是否去完全去重重要性没那么高

api.smzdm.com ap*.smzdm.com 这组后面会优化一下去掉

.126.net不能包括.music.126.net,这个与Loon的开发者确认过,为保持一致,另外两个客户端也不会做改动。

*.snssdk与snssdk.com,尚不能确定可以覆盖,所以保守的方式是将其保留。

农业银行这个,可能是有复写,但是没有通过编译,被丢弃了;还有一种可能是上游数据源的作者删除复写后,忘了删除农行的MITM。目前做不到复写和MITM一一对应,比如下面这些复写,我人工都看不明白对应的是哪个MITM,所以只能保守的选择保留全部的MITM。

^https?:\/\/.+?\/api\/v\d\/adRealTime url reject

^https?:\/\/.+?\/cdn-adn\/ url reject

augustusy commented 3 years ago

https://raw.githubusercontent.com/blackmatrix7/ios_rule_script/master/rewrite/QuantumultX/Advertising/Advertising.conf 规则中MITM的Hostname去重好像不是很干净,比如: api.smzdm.com ap.smzdm.com .126.net .music.126.net p.c.music.126.net .127.net .music.127.net easyreadfs.nosdn.127.net .baidu.com c.tieba.baidu.com *.snssdk.com snssdk.com 以及enjoy.abchina.com(农业银行app)有hostname但是没有对应的规则。 请楼主检查,谢谢

去重选择的是比较保守的方式,以保证复写正常为首要目的,是否去完全去重重要性没那么高

api.smzdm.com ap*.smzdm.com 这组后面会优化一下去掉

.126.net不能包括.music.126.net,这个与Loon的开发者确认过,为保持一致,另外两个客户端也不会做改动。

*.snssdk与snssdk.com,尚不能确定可以覆盖,所以保守的方式是将其保留。

农业银行这个,可能是有复写,但是没有通过编译,被丢弃了;还有一种可能是上游数据源的作者删除复写后,忘了删除农行的MITM。目前做不到复写和MITM一一对应,比如下面这些复写,我人工都看不明白对应的是哪个MITM,所以只能保守的选择保留全部的MITM。

^https?://.+?/api/v\d/adRealTime url reject

^https?://.+?/cdn-adn/ url reject

谢谢回答,只是感觉有些一级域名比如*.baidu.com放在hostname里面,而规则只是例如c.tieba.baidu.com,但baidu底下所有子域名都MITM,造成系统资源消耗,有时候会卡顿或者app反应迟钝或者网络延迟,所以才发现这个问题。

blackmatrix7 commented 3 years ago

https://raw.githubusercontent.com/blackmatrix7/ios_rule_script/master/rewrite/QuantumultX/Advertising/Advertising.conf

规则中MITM的Hostname去重好像不是很干净,比如:

api.smzdm.com

ap*.smzdm.com

*.126.net

*.music.126.net

p.c.music.126.net

*.127.net

*.music.127.net

easyreadfs.nosdn.127.net

*.baidu.com

c.tieba.baidu.com

*.snssdk.com

snssdk.com

以及enjoy.abchina.com(农业银行app)有hostname但是没有对应的规则。

请楼主检查,谢谢

去重选择的是比较保守的方式,以保证复写正常为首要目的,是否去完全去重重要性没那么高

api.smzdm.com

ap*.smzdm.com

这组后面会优化一下去掉

.126.net不能包括.music.126.net,这个与Loon的开发者确认过,为保持一致,另外两个客户端也不会做改动。

*.snssdk与snssdk.com,尚不能确定可以覆盖,所以保守的方式是将其保留。

农业银行这个,可能是有复写,但是没有通过编译,被丢弃了;还有一种可能是上游数据源的作者删除复写后,忘了删除农行的MITM。目前做不到复写和MITM一一对应,比如下面这些复写,我人工都看不明白对应的是哪个MITM,所以只能保守的选择保留全部的MITM。

^https?://.+?/api/v\d/adRealTime url reject

^https?://.+?/cdn-adn/ url reject

谢谢回答,只是感觉有些一级域名比如*.baidu.com放在hostname里面,而规则只是例如c.tieba.baidu.com,但baidu底下所有子域名都MITM,造成系统资源消耗,有时候会卡顿或者app反应迟钝或者网络延迟,所以才发现这个问题。

我也不太赞同这种写法。但现在的问题是上游数据源这么写,我在不清楚他意图的情况下,为了不影响复写效果,不方便直接去掉。所以就这么一直留着。

后面可以考虑更新一下,把这些顶级和二级域名模糊匹配的MITM直接删除,看看对使用效果影响多大。

DomKing commented 3 years ago

知乎广告拦截会失效。通过抓包发现,知乎回答列表,有时域名用的是https://api.zhihu.com/v4,有时用的是https://www.zhihu.com/api/v4

没有遇到过这样的情况,你把抓包结果发我看下。

已重新抓包,正常了,谢谢。

sanziliu commented 3 years ago

请问有可能有动画疯的脚本吗?好像一夜之间动画疯的脚本都被删除了。谢谢。

blackmatrix7 commented 3 years ago

请问有可能有动画疯的脚本吗?好像一夜之间动画疯的脚本都被删除了。谢谢。

这个APP我没用过,帮不上忙,不好意思。