Open bol-van opened 1 year ago
disappointed72
commented
1 year ago Кстати заметил в дефолтной смарт выгрузке с антифильтра несколько префиксов гугла. Похоже кто-то забавляется с заблоченными доменами. Случайно заметил в режиме дебага nfqws. Пришлось выносить эти сети в exclude.
bol-van
commented
1 year ago Да, правда, это недостаток метода ресолва, с которым бороться достаточно сложно. На этом в свое время погорел РКН, когда стали вносить IP адреса сбера, вконтакте и прочее. Но в нашем случае самое плохое, что может случиться, это будет применено дурение к тому, к чему не должно. Если это вызывает проблему - можно добавить в exclude
rockenren
commented
1 year ago Для Twitter: abs-0.twimg.com abs-zero.twimg.com abs.twimg.com api.twitter.com cdn.syndication.twimg.com pbs-ak.twimg.com pbs.twimg.com platform.twitter.com video-ak.twimg.com video.twimg.com
Это как минимум.
Только с ними, в сочетании с get_reestr_preresolved_smart.sh, Twitter начал хотя бы открываться и частично начинает показывать emdedded. И это без учета CDN с которых они видео показывают.
Я пытался ловить тупо через F12 в браузере в свое время, устал где-то на 100 записи в доменах, и это были только Facebook, Twitter, Instagram (все то, что показывает пустые квадраты вместо emdedded содержимого на большинстве сайтов).
Никаких нормальных вариантов получить тупо все поддомены для домена X я не нашел. Никаких crowdsourced списков тоже в итоге не нашел, все кто заявляли (например Censor Tracker) что добавили в свои списки "все диапазоны Twitter" в нормальном виде нигде эти списки не публиковали.
Я не знаю, может это только для меня проблема, но по факту опять приходится возвращаться (как было во времена когда реестр был небольшой) к policy-based заворачиванию через прокси/ss на уровне браузера или заворачиванию всего трафика в vpn на уровне устройства (как во времена войны с Telegram)...
bol-van
commented
1 year ago Это как минимум.
принято
Я не знаю, может это только для меня проблема, но по факту опять приходится возвращаться (как было во времена когда реестр был небольшой) к policy-based заворачиванию через прокси/ss на уровне браузера или заворачиванию всего трафика в vpn на уровне устройства (как во времена войны с Telegram)...
можно использовать в zapret фильтрацию по хост листу вместо ip листа там поддомены учитываются автоматом
rockenren
commented
1 year ago можно использовать в zapret фильтрацию по хост листу вместо ip листа там поддомены учитываются автоматом
да у меня даже с учетом обновленного роутера hostlist (и это только reestr_hostname_resolvable_ip4.txt) практически кладет его на лопатки по RAM. OpenWrt 22.03.x, nftables и все его проблемы.
Спасибо за наводку, посмотрю как будет себя вести в режиме hostlist, при таких раскладах ipset просто теряет актуальность - самые "нужные" сайты в принципе сломаны из-за заблокированных технических поддоменов.
Еще для bbc.com: gn-web-assets.api.bbc.com emp.bbci.co.uk gn-flagpoles.api.bbci.co.uk idcta.api.bbc.co.uk mybbc-analytics.files.bbci.co.uk a1.api.bbc.co.uk emp.bbc.com
Без них сайт до конца не загружается (стили, изображения, js).
bol-van
commented
1 year ago кладет его на лопатки по RAM
Есть 10-тысячник с antizapret. Он на nftables и 128 RAM нормально живет. Если совсем плохо, можно отказаться от загружаемых листов и вручную набивать в юзер листы Или по exclude работать, если что-то ломается с обходом
bol-van
commented
10 months ago Домен nethub.fi убился, поэтому листы переехали на гитхаб в репозиторий rulist. Скрипты ipset обновлены
Решил сделать свой сервис по обработке выгрузки реестра РКН. Главная мотивация - отсутствие ipv6 в решениях от antifilter.network Для получения листов используйте get_reestr_preresolved.sh и get_reestr_preresolved_smart.sh
На данный момент листы формируются из 4 источников : 1) Ресолвятся все домены из реестра блокированных сайтов РКН 2) Подход 1 не может учесть поддомены , не перечисленные в реестре. Их список приходится вести вручную. Потому если вы вдруг встретились с таким случаем, что блокируемый поддомен не учтен в ipset, можете постить сюда название. Поддомены легко выявить в броузере по кнопке F12. 3) Всегда может быть преднамеренная зловредность в форме помещения в DNS IP адресов других сервисов типа сбербанка. Все бы ничего, ведь мы не блокируем, а наоборот - пробиваем блокировку. Однако, не всем сайтам или их системам защиты от DDoS атак понравятся методы атаки на DPI. Сайт может сломаться. Такие случаи собираюсь обыгрывать в виде белого списка либо по IP, если он статический, либо по автономным системам, если он прыгающий. Но от вас нужна информация какие незаблокированные РКН сайты ломаются от обхода блокировок и с какими параметрами пытались обходить. Это тот случай, когда большинство ресурсов работает нормально, кроме некоторых незаблокированных. Если оно не работает массово - это не тот случай. Актуально, даже если вы не пользуетесь скриптами get_reestr_preresolved, а проблема возникла при применении zapret или GoodByeDPI в других настройках. Потому что сегодня, предположим, сбербанка нет среди заресолвленного ip листа, а завтра он появится. Чтобы проблема не появилась внезапно. 4) Крупные сайты и хостинги используют прыгающие IP адреса. Что это такое ? Это когда вы заресолвили rutracker.org, и вам выдало одно. Через час - то же самое. А через день - другое. С другого провайдера или страны - другое. Прыгание может идти как по geoip, так и просто ради балансировки нагрузки через DNS. В этом случае ipset будет работать нестабильно. Я не знаю иного способа надежно решить вопрос, кроме как добавлять полностью диапазоны IP автономных систем. На данный момент это cloudflare, twitter, facebook. Если у вас есть что добавить к этому пункту - пишите.
get_reestr_preresolved.sh - это пункты 1, 2, 3 get_reestr_preresolved_smart.sh - это пункты 1, 2, 3, 4
листы уже пре-обработаны ip2net