search

mdevaev / emonoda

A set of tools to organize and manage your torrents
GNU General Public License v3.0
93 stars 13 forks source link

Поддержка ipv6.nnm-club.me #37

Closed dganic closed 8 years ago

dganic commented 9 years ago

Ничего не трогал, только обновлял систему переодически, итог emonoda перестал работать:

Traceback (most recent call last):
  File "/usr/bin/emfetch", line 5, in <module>
    from pkg_resources import load_entry_point
  File "/usr/lib/python3.5/site-packages/pkg_resources/__init__.py", line 3084, in <module>
    @_call_aside
  File "/usr/lib/python3.5/site-packages/pkg_resources/__init__.py", line 3070, in _call_aside
    f(*args, **kwargs)
  File "/usr/lib/python3.5/site-packages/pkg_resources/__init__.py", line 3097, in _initialize_master_working_set
    working_set = WorkingSet._build_master()
  File "/usr/lib/python3.5/site-packages/pkg_resources/__init__.py", line 651, in _build_master
    ws.require(__requires__)
  File "/usr/lib/python3.5/site-packages/pkg_resources/__init__.py", line 952, in require
    needed = self.resolve(parse_requirements(requirements))
  File "/usr/lib/python3.5/site-packages/pkg_resources/__init__.py", line 839, in resolve
    raise DistributionNotFound(req, requirers)
pkg_resources.DistributionNotFound: The 'emonoda==1.9.20' distribution was not found and is required by the application
mdevaev commented 9 years ago

Наверное, там питон обновился до 3.5, надо просто переустановить пакет.

mdevaev commented 9 years ago

Судя по всему, так и есть. Закрываю.

dganic commented 9 years ago

переустановил из AUR, ошибка все еще осталась :(

окт 07 22:21:21 dga-serv systemd[1]: Started Torrents Update whis rtfetch.
окт 07 22:21:21 dga-serv emfetch[1698]: Traceback (most recent call last):
окт 07 22:21:21 dga-serv emfetch[1698]: File "/usr/bin/emfetch", line 5, in <module>
окт 07 22:21:21 dga-serv emfetch[1698]: from pkg_resources import load_entry_point
окт 07 22:21:21 dga-serv emfetch[1698]: File "/usr/lib/python3.5/site-packages/pkg_resources/__init__.py", line 3084, in <module>
окт 07 22:21:21 dga-serv emfetch[1698]: @_call_aside
окт 07 22:21:21 dga-serv emfetch[1698]: File "/usr/lib/python3.5/site-packages/pkg_resources/__init__.py", line 3070, in _call_aside
окт 07 22:21:21 dga-serv emfetch[1698]: f(*args, **kwargs)
окт 07 22:21:21 dga-serv emfetch[1698]: File "/usr/lib/python3.5/site-packages/pkg_resources/__init__.py", line 3097, in _initialize_master_working_set
окт 07 22:21:21 dga-serv emfetch[1698]: working_set = WorkingSet._build_master()
окт 07 22:21:21 dga-serv emfetch[1698]: File "/usr/lib/python3.5/site-packages/pkg_resources/__init__.py", line 651, in _build_master
окт 07 22:21:21 dga-serv emfetch[1698]: ws.require(__requires__)
окт 07 22:21:21 dga-serv emfetch[1698]: File "/usr/lib/python3.5/site-packages/pkg_resources/__init__.py", line 952, in require
окт 07 22:21:21 dga-serv emfetch[1698]: needed = self.resolve(parse_requirements(requirements))
окт 07 22:21:21 dga-serv emfetch[1698]: File "/usr/lib/python3.5/site-packages/pkg_resources/__init__.py", line 839, in resolve
окт 07 22:21:21 dga-serv emfetch[1698]: raise DistributionNotFound(req, requirers)
окт 07 22:21:21 dga-serv emfetch[1698]: pkg_resources.DistributionNotFound: The 'pyyaml' distribution was not found and is required by emonoda
окт 07 22:21:21 dga-serv systemd[1]: emonoda.service: Main process exited, code=exited, status=1/FAILURE
окт 07 22:21:21 dga-serv systemd[1]: emonoda.service: Unit entered failed state.
окт 07 22:21:21 dga-serv systemd[1]: emonoda.service: Failed with result 'exit-code'.
mdevaev commented 9 years ago 
окт 07 22:21:21 dga-serv emfetch[1698]: pkg_resources.DistributionNotFound: The 'pyyaml' distribution was not found and is required by emonoda

python-pyyaml тоже переустановите, как и все пакеты, которые будут так же ругаться.

dganic commented 9 years ago

переустановил, а тперь что надо переустановить? 

окт 11 13:32:10 dga-serv systemd[1]: Started Torrents Update whis rtfetch.
окт 11 13:32:14 dga-serv emfetch[1045]: [99B blob data]
окт 11 13:32:14 dga-serv emfetch[1045]: [166B blob data]
окт 11 13:32:14 dga-serv emfetch[1045]: Traceback (most recent call last):
окт 11 13:32:14 dga-serv emfetch[1045]: File "/usr/bin/emfetch", line 9, in <module>
окт 11 13:32:14 dga-serv emfetch[1045]: load_entry_point('emonoda==1.9.20', 'console_scripts', 'emfetch')()
окт 11 13:32:14 dga-serv emfetch[1045]: File "/usr/lib/python3.5/site-packages/emonoda/apps/emfetch.py", line 193, in main
окт 11 13:32:14 dga-serv emfetch[1045]: noop=options.noop,
окт 11 13:32:14 dga-serv emfetch[1045]: File "/usr/lib/python3.5/contextlib.py", line 77, in __exit__
окт 11 13:32:14 dga-serv emfetch[1045]: self.gen.throw(type, value, traceback)
окт 11 13:32:14 dga-serv emfetch[1045]: File "/usr/lib/python3.5/site-packages/emonoda/apps/__init__.py", line 123, in get_configured_log
окт 11 13:32:14 dga-serv emfetch[1045]: yield log
окт 11 13:32:14 dga-serv emfetch[1045]: File "/usr/lib/python3.5/site-packages/emonoda/apps/emfetch.py", line 193, in main
окт 11 13:32:14 dga-serv emfetch[1045]: noop=options.noop,
окт 11 13:32:14 dga-serv emfetch[1045]: File "/usr/lib/python3.5/contextlib.py", line 77, in __exit__
окт 11 13:32:14 dga-serv emfetch[1045]: self.gen.throw(type, value, traceback)
окт 11 13:32:14 dga-serv emfetch[1045]: File "/usr/lib/python3.5/site-packages/emonoda/apps/__init__.py", line 123, in get_configured_log
окт 11 13:32:14 dga-serv emfetch[1045]: yield log
окт 11 13:32:14 dga-serv emfetch[1045]: File "/usr/lib/python3.5/site-packages/emonoda/apps/emfetch.py", line 168, in main
окт 11 13:32:14 dga-serv emfetch[1045]: log=log_stderr,
окт 11 13:32:14 dga-serv emfetch[1045]: File "/usr/lib/python3.5/site-packages/emonoda/apps/__init__.py", line 152, in get_configured_client
окт 11 13:32:14 dga-serv emfetch[1045]: client = get_client_class(name)(**config.client)
окт 11 13:32:14 dga-serv emfetch[1045]: File "/usr/lib/python3.5/site-packages/emonoda/plugins/clients/transmission.py", line 49, in __init__
окт 11 13:32:14 dga-serv emfetch[1045]: raise RuntimeError("Required module transmissionrpc")
окт 11 13:32:14 dga-serv emfetch[1045]: RuntimeError: Required module transmissionrpc
окт 11 13:32:14 dga-serv systemd[1]: emonoda.service: Main process exited, code=exited, status=1/FAILURE
окт 11 13:32:14 dga-serv systemd[1]: emonoda.service: Unit entered failed state.
окт 11 13:32:14 dga-serv systemd[1]: emonoda.service: Failed with result 'exit-code'.
окт 11 13:33:44 dga-serv systemd[1]: Started Torrents Update whis rtfetch.
окт 11 13:33:44 dga-serv emfetch[1072]: [99B blob data]
окт 11 13:33:44 dga-serv emfetch[1072]: [166B blob data]
mdevaev commented 9 years ago

python-transmissionrpc

dganic commented 9 years ago 
окт 11 13:56:58 dga-serv systemd[1]: Started Torrents Update whis rtfetch.
окт 11 13:56:59 dga-serv emfetch[2259]: [99B blob data]
окт 11 13:56:59 dga-serv emfetch[2259]: [117B blob data]
окт 11 13:57:09 dga-serv emfetch[2259]: [280B blob data]
окт 11 13:57:09 dga-serv emfetch[2259]: Traceback (most recent call last):
окт 11 13:57:09 dga-serv emfetch[2259]: File "/usr/lib/python3.5/site-packages/emonoda/plugins/fetchers/__init__.py", line 250, in _test_fingerprint
окт 11 13:57:09 dga-serv emfetch[2259]: page = data.decode(fingerprint["encoding"])
окт 11 13:57:09 dga-serv emfetch[2259]: File "/usr/lib/python3.5/encodings/cp1251.py", line 15, in decode
окт 11 13:57:09 dga-serv emfetch[2259]: return codecs.charmap_decode(input,errors,decoding_table)
окт 11 13:57:09 dga-serv emfetch[2259]: UnicodeDecodeError: 'charmap' codec can't decode byte 0x98 in position 21: character maps to <undefined>
окт 11 13:57:09 dga-serv emfetch[2259]: During handling of the above exception, another exception occurred:
окт 11 13:57:09 dga-serv emfetch[2259]: Traceback (most recent call last):
окт 11 13:57:09 dga-serv emfetch[2259]: File "/usr/bin/emfetch", line 9, in <module>
окт 11 13:57:09 dga-serv emfetch[2259]: load_entry_point('emonoda==1.9.20', 'console_scripts', 'emfetch')()
окт 11 13:57:09 dga-serv emfetch[2259]: File "/usr/lib/python3.5/site-packages/emonoda/apps/emfetch.py", line 176, in main
окт 11 13:57:09 dga-serv emfetch[2259]: log=log_stderr,
окт 11 13:57:09 dga-serv emfetch[2259]: File "/usr/lib/python3.5/site-packages/emonoda/apps/__init__.py", line 186, in get_configured_fetchers
окт 11 13:57:09 dga-serv emfetch[2259]: fetcher.test()
окт 11 13:57:10 dga-serv emfetch[2259]: File "/usr/lib/python3.5/site-packages/emonoda/plugins/fetchers/__init__.py", line 229, in test
окт 11 13:57:10 dga-serv emfetch[2259]: self._test_fingerprint(info["fingerprint"], opener)
окт 11 13:57:10 dga-serv emfetch[2259]: File "/usr/lib/python3.5/site-packages/emonoda/plugins/fetchers/__init__.py", line 252, in _test_fingerprint
окт 11 13:57:10 dga-serv emfetch[2259]: raise FetcherError(msg)
окт 11 13:57:10 dga-serv emfetch[2259]: emonoda.plugins.fetchers.FetcherError: Invalid site body, maybe tracker is blocked
окт 11 13:57:10 dga-serv systemd[1]: emonoda.service: Main process exited, code=exited, status=1/FAILURE
окт 11 13:57:10 dga-serv systemd[1]: emonoda.service: Unit entered failed state.
окт 11 13:57:10 dga-serv systemd[1]: emonoda.service: Failed with result 'exit-code'.
mdevaev commented 9 years ago

Из консоли запустите и посмотрите, на какой трекер он ругается.

dganic commented 9 years ago 
# E: Can't init fetcher nnm-club.me: FetcherError(Invalid site body, maybe tracker is blocked)
Traceback (most recent call last):
  File "/usr/lib/python3.5/site-packages/emonoda/plugins/fetchers/__init__.py", line 250, in _test_fingerprint
    page = data.decode(fingerprint["encoding"])
  File "/usr/lib/python3.5/encodings/cp1251.py", line 15, in decode
    return codecs.charmap_decode(input,errors,decoding_table)
UnicodeDecodeError: 'charmap' codec can't decode byte 0x98 in position 21: character maps to <undefined>

During handling of the above exception, another exception occurred:

Traceback (most recent call last):
  File "/usr/bin/emfetch", line 9, in <module>
    load_entry_point('emonoda==1.9.20', 'console_scripts', 'emfetch')()
  File "/usr/lib/python3.5/site-packages/emonoda/apps/emfetch.py", line 176, in main
    log=log_stderr,
  File "/usr/lib/python3.5/site-packages/emonoda/apps/__init__.py", line 186, in get_configured_fetchers
    fetcher.test()
  File "/usr/lib/python3.5/site-packages/emonoda/plugins/fetchers/__init__.py", line 229, in test
    self._test_fingerprint(info["fingerprint"], opener)
  File "/usr/lib/python3.5/site-packages/emonoda/plugins/fetchers/__init__.py", line 252, in _test_fingerprint
    raise FetcherError(msg)
emonoda.plugins.fetchers.FetcherError: Invalid site body, maybe tracker is blocked

nnm-club, из браузера сайт норм, открывается

mdevaev commented 9 years ago

Вероятно, какой-то временный баг, у меня работает. Попозже проверю. Закомментите пока трекер.

mdevaev commented 9 years ago

Я сейчас проверил на python 3.5, как у вас, и у меня не воспроизводится. Если у вас тоже, то это, скорее всего, какая-то проблема у нонейма была.

dganic commented 9 years ago

Да видимо перменный глюк, сейчас вроде работает. Скажите а вомзожно добавить домен http://ipv6.nnm-club.me/ А то на обычном стали некоторые раздачи банить :(

mdevaev commented 9 years ago

У меня нет ipv6, как оно должно работать? Дайте пару ссылок на такие раздачи.

dganic commented 9 years ago

Вот заблокированная раздача на обычном домене: http://nnm-club.me/forum/viewtopic.php?t=935204

Вот этаже раздача на домене с ipv6 уже не заблокировна: http://ipv6.nnm-club.me/forum/viewtopic.php?t=935204

Все ссылки теже самые только к домену спери добавилась приставка ipv6.

mdevaev commented 9 years ago

Окей, завтра с работы потыкаю.

mdevaev commented 9 years ago

Попробуйте 1.9.22, я сделал плагин с именем ipv6.nnm-club.me, настраивается, как обычный фетчер, т.е. тоже надо прописать в fetchers и указать логин-пароль. Он ищет только те торренты, которые изначально были скачаны с ipv6, так что перекачайте файлики вручную.

dganic commented 9 years ago

Обновился, добавил фетчер в конфиг, получил вот это: https://gist.github.com/dganic/d54ce7bdaa63a07b5bad

mdevaev commented 9 years ago

Попробуйте 1.9.23, должно помочь.

dganic commented 9 years ago

Обновился, теперь вот так: https://gist.github.com/dganic/6759838c7391845fccc0

mdevaev commented 9 years ago

Попробуйте 1.9.24-1. Проблему я не исправил, но тут выводится чуть больше отладочной информации. Запустите программу из консоли и покажите лог.

dganic commented 9 years ago

Обновился, теперь вот так: https://gist.github.com/dganic/7e44828c98eee1f05fab

Прошу еще один фичреквест, можно как-то удалять торренты которых нет в клинте? Они каким-то образом образуются из-за этого бага: https://github.com/mdevaev/emonoda/issues/22

mdevaev commented 9 years ago

Похоже, что это у них какие-то глюки. Там периодически то ошибки кодировки, то 404 вылетают. Я посмотрю, что с этим можно сделать. Касаемо второго вопроса - есть такая команда: emfind not-in-client | xargs rm.

dganic commented 9 years ago

Оно не понимает пробелы в именах файлов и ничего не удаляет: 

# I: Client transmission is ready
# I: Loaded 129 torrents from /var/lib/transmission/.config/transmission-daemon/torrents/*.torrent
# I: Fetching all hashes from client ...
# I: Not in client:
# I: Found 9 unregistered torrents
rm: невозможно удалить «»: Нет такого файла или каталога
rm: невозможно удалить «/var/lib/transmission/.config/transmission-daemon/torrents/Кухня»: Нет такого файла или каталога
rm: невозможно удалить «(5»: Нет такого файла или каталога
rm: невозможно удалить «сезон)»: Нет такого файла или каталога
rm: невозможно удалить «2015»: Нет такого файла или каталога
rm: невозможно удалить «WEB-DLRip»: Нет такого файла или каталога
rm: невозможно удалить «1080.71e51385d73150f0.torrent»: Нет такого файла или каталога
rm: невозможно удалить «/var/lib/transmission/.config/transmission-daemon/torrents/Under»: Нет такого файла или каталога
rm: невозможно удалить «the»: Нет такого файла или каталога
rm: невозможно удалить «Dome.»: Нет такого файла или каталога
rm: невозможно удалить «Season»: Нет такого файла или каталога
rm: невозможно удалить «3»: Нет такого файла или каталога
rm: невозможно удалить «(2015)»: Нет такого файла или каталога
rm: невозможно удалить «WEB-DL»: Нет такого файла или каталога
rm: невозможно удалить «1080p»: Нет такого файла или каталога
rm: невозможно удалить «[LostFilm].7b3027f46f98f909.torrent»: Нет такого файла или каталога
rm: невозможно удалить «/var/lib/transmission/.config/transmission-daemon/torrents/Homeland»: Нет такого файла или каталога
mdevaev commented 9 years ago

А так? emfind not-in-client | xargs -d '\n' rm

dganic commented 9 years ago

Спасибо, так вроде работает

mdevaev commented 9 years ago

Исправил проблему с UnicodeDecodeError. У нонейма чудной сервер, он отдает данные, пожатые гзипом, хотя клиент у меня не говорил ему Accept-Encoding: gzip. Причем не всегда. Попробуйте 1.9.25-1

dganic commented 9 years ago

Не помогло :(

https://gist.github.com/dganic/ae1fd47e086ebe697569

mdevaev commented 9 years ago

Я ж написал, что исправлял UnicodeDecodeError, а не 404. С 404 пока хз, что делать.

mdevaev commented 9 years ago

У меня 404 опять не воспроизводится. Похоже, что проблема непериодическая. Когда оно у вас проявляется? По времени.

dganic commented 9 years ago

Не знаю, ни каких закономерностей выявить не смог. Сейчас проверил вроде все работает.

dganic commented 9 years ago

Вот опять словил, 22:15

mdevaev commented 8 years ago

Я проверил, это глюки трекера.