search

ArtemKozluyk / ruadlist

Automatically exported from code.google.com/p/ruadlist
0 stars 0 forks source link

Поиск неработающих доменов #103

Closed GoogleCodeExporter closed 9 years ago

GoogleCodeExporter commented 9 years ago 
Предыстория: 
http://forum.mozilla-russia.org/viewtopic.php?id=3679&p=310

Добавил pingresolver-j.txt как отдельный файл. 
Отличий от deadhosts.txt Lain_13 мало, но хочу 
напомнить, что многие партнёрки настроены 
так, чтобы чтобы при попытке открыть 
главную сервер не отвечал.

Original issue reported on code.google.com by rodion...@gmail.com on 15 Nov 2011 at 8:18

GoogleCodeExporter commented 9 years ago 
pingresolver-j.txt в r3445 — это результат работы 
pincheck.pl, а не doa.pl (если это важно).

Original comment by rodion...@gmail.com on 15 Nov 2011 at 8:21

GoogleCodeExporter commented 9 years ago 
Накати pingresolver-j.txt как изменение на deadhosts.txt, 
пожалуйста.
Хочу понаблюдать за изменениями и через 
несколько дней зашибить все стабильно не 
отвечающие домены.

Фокус в том, что я из не пингую, а просто 
проверяю существование доменных имен. 
Разве можно регистрировать домены 
третьего уровня минуя второй? Он может не 
отвечать на пинги, но резолвиться-то он 
должен. Разве нет?

Original comment by lain.halfbit@gmail.com on 15 Nov 2011 at 8:31

GoogleCodeExporter commented 9 years ago 
В Windows та же ошибка, что и в Линуксе:

C:\Documents and Settings\Радик>D:\adlist\resolver\doa.pl
Can't locate Net/DNS.pm in @INC (@INC contains: C:/Perl/site/lib C:/Perl/lib .)
at D:\adlist\resolver\doa.pl line 4.
BEGIN failed--compilation aborted at D:\adlist\resolver\doa.pl line 4.

Original comment by rodion...@gmail.com on 15 Nov 2011 at 8:34

GoogleCodeExporter commented 9 years ago 
Перенёс pingresolver-j.txt в deadhosts.txt (r3446) и удалил 
свой pingresolver-j.txt

Original comment by rodion...@gmail.com on 15 Nov 2011 at 9:16

GoogleCodeExporter commented 9 years ago 
Для винды изучай вот это: 
http://docs.activestate.com/activeperl/5.12/faq/ActivePerl-faq2.html
У меня сейчас винды под рукой нет. У ActivePerl 
есть свой пакетный менеджер PPM через 
который можно поставить недостающий пакет 
Net::DNS.

А вообще Perl это один большой бардак. >_<
Думаю, а не переписать ли это всё на питоне…

Original comment by lain.halfbit@gmail.com on 15 Nov 2011 at 9:31

GoogleCodeExporter commented 9 years ago 
Ничего, у меня линукс под рукой.

Обновил список ещё раз. Посмотрим, что 
получится.

Original comment by rodion...@gmail.com on 15 Nov 2011 at 9:55

GoogleCodeExporter commented 9 years ago 
r3449

Несколько доработал код и закольцевал 
поиск. Не вижу смысла перепроверять то, что 
и так работает. Если что-то периодически не 
работает, то я не хочу это удалять из 
подписки. Потому скрипт теперь берёт 
данные из списка «мёртвых» доменов и если 
что-то во время проверки «ответило», то 
обратно это что-то уже не попадает.

Original comment by lain.halfbit@gmail.com on 15 Nov 2011 at 11:46

GoogleCodeExporter commented 9 years ago 
r3451
Ещё сократил список: теперь там сайты, 
которые:
1) не работали ни при одной из проверок;
2) не нашлись в списке сработавших у меня 
правил (примерно можно проверить, если
добавить || и ^$third-party и сделать подпиской).

Original comment by rodion...@gmail.com on 15 Nov 2011 at 11:58

GoogleCodeExporter commented 9 years ago 
После изменений скрипт не обновляет список 
deadhosts.txt, хотя работающие сайты обнаружил.

Original comment by rodion...@gmail.com on 16 Nov 2011 at 6:17

GoogleCodeExporter commented 9 years ago 
Что значит не обновляет?
Он в процессе должен создавать deadhosts.tmp, в 
конце сбрасывать туда всю накопленную 
информацию, стирать  deadhosts.txt и 
переименовывать deadhosts.tmp в deadhosts.txt.
У тебя остался deadhosts.tmp и старый deadhosts.txt?

Original comment by lain.halfbit@gmail.com on 16 Nov 2011 at 7:30

GoogleCodeExporter commented 9 years ago 
А, посмотрел r3453 и понял. Пока откатил. Нужно 
разобраться что всё это значит. Тут не всё 
просто. Я отписал тебе там в комментарии.

Original comment by lain.halfbit@gmail.com on 16 Nov 2011 at 7:52

GoogleCodeExporter commented 9 years ago 
По крайней мере его не было после 
завершения работы скрипта deadhosts.tmp не было, 
а deadhosts.txt — старый.

Original comment by rodion...@gmail.com on 16 Nov 2011 at 8:27

GoogleCodeExporter commented 9 years ago 
Для запуска из винды нужно сначала 
убедиться, что у тебя Perl 5.10 или выше:
perl -v

После этого выполнить:
ppm install Net::DNS

Original comment by lain.halfbit@gmail.com on 16 Nov 2011 at 9:35

GoogleCodeExporter commented 9 years ago 
Вот только скорость перебора в винде 
просто ужасна. >_<

Original comment by lain.halfbit@gmail.com on 16 Nov 2011 at 9:36

GoogleCodeExporter commented 9 years ago 
This is perl 5, version 12, subversion 2 (v5.12.2) built for MSWin32-x86-multi-t
hread
(with 8 registered patches, see perl -V for more detail)

Copyright 1987-2010, Larry Wall

Binary build 1202 [293621] provided by ActiveState http://www.ActiveState.com
Built Sep  6 2010 23:36:03
(и т. д.)

C:\Documents and Settings\Радик>ppm install Net::DNS
"ppm" не является внутренней или внешней
командой, исполняемой программой или 
пакетным файлом.

Original comment by rodion...@gmail.com on 16 Nov 2011 at 10:35

GoogleCodeExporter commented 9 years ago 
Зайди в папку с Perl (у меня это c:\Perl64).
Зайди в папку bin.
Запусти там ppm.bat — откроется окно 
пакетного менеджера.
Ищи там Net-DNS и установи его.

Original comment by lain.halfbit@gmail.com on 16 Nov 2011 at 10:40

GoogleCodeExporter commented 9 years ago 
ppm.bat там нет — есть просто ppm без расширения.

C:\Documents and Settings\Радик>C:\Perl\bin\ppm
"C:\Perl\bin\ppm" не является внутренней или 
внешней
командой, исполняемой программой или 
пакетным файлом.

Original comment by rodion...@gmail.com on 16 Nov 2011 at 10:50

GoogleCodeExporter commented 9 years ago 
Ну да ладно, если ещё и с тормозами будет, 
проще линукс запустить.

Original comment by rodion...@gmail.com on 16 Nov 2011 at 10:51

GoogleCodeExporter commented 9 years ago 
У меня там есть ppm, ppm.bat и ppm-shell.bat. В 
последнем можно вбить install Net::DNS.
Можно просто открыть эту папку в консольке 
и запустить ту команду, что я указывал выше: 
ppm install Net::DNS.

Original comment by lain.halfbit@gmail.com on 16 Nov 2011 at 11:51

GoogleCodeExporter commented 9 years ago 
Microsoft Windows XP [Версия 5.1.2600]
(С) Корпорация Майкрософт, 1985-2001.

C:\Documents and Settings\Радик>C:\Perl\bin\ppm-shell.bat
"ppm" не является внутренней или внешней
командой, исполняемой программой или 
пакетным файлом.

C:\Documents and Settings\Радик>cd C:\Perl\bin\

C:\Perl\bin>ppm install Net::DNS
"ppm" не является внутренней или внешней
командой, исполняемой программой или 
пакетным файлом.

C:\Perl\bin>

Original comment by rodion...@gmail.com on 16 Nov 2011 at 12:41

GoogleCodeExporter commented 9 years ago 
Такое впечатление, что с твоим ActivePerl что-то 
конкретно не так… Ну да ладно. Главное, что 
в линуксе работает.

Original comment by lain.halfbit@gmail.com on 16 Nov 2011 at 1:43

GoogleCodeExporter commented 9 years ago 
C:\Users\Rodion>B:\al\resolver\doa.pl
Can't locate Net/DNS.pm in @INC (@INC contains: C:/Perl64/site/lib C:/Perl64/lib
 .) at B:\al\resolver\doa.pl line 3.
BEGIN failed--compilation aborted at B:\al\resolver\doa.pl line 3.

Original comment by rodion...@gmail.com on 10 Apr 2012 at 8:50

GoogleCodeExporter commented 9 years ago 
Я хз. У меня в винде работает и что делать я 
уже писал. Ищи куда у тебя pmm подевался и 
доустанави пакет Net::DNS. У меня-то это 
сработало.

Original comment by lain.halfbit@gmail.com on 10 Apr 2012 at 8:57

GoogleCodeExporter commented 9 years ago 
> Ищи там Net-DNS и установи его.
Нету.

Original comment by rodion...@gmail.com on 11 Apr 2012 at 2:33

GoogleCodeExporter commented 9 years ago 
[deleted comment]
GoogleCodeExporter commented 9 years ago 
[deleted comment]
GoogleCodeExporter commented 9 years ago 
[deleted comment]
GoogleCodeExporter commented 9 years ago 
В виду работы над созданием 
централизованного сервера статистики в 
самом расширении ABP закрываю этот баг. 
Будут отчёты об использовании фильтров — 
займусь и удалением.

Original comment by lain.halfbit@gmail.com on 5 Jun 2014 at 8:05