search

Ripolin / potatoygg

Ygg torrent provider implementation for CouchPotato
Apache License 2.0
15 stars 10 forks source link

Sécurité chez YGG? #18

Closed Caboch closed 5 years ago

Caboch commented 5 years ago

Bonjour à tous,

Merci pour votre travail pour ce pluging.

J'ai installé Couchpotato sur un serveur dédié via l'interface Quickbox. J'ai bien ajouté le plugin puis le configurer.

J'ai testé avec un film basique et le soucis est qu'il ne trouve pas le torrent. J'ai activé le debug et voici ce que j'ai dans le fichier log:

01-28 14:24:00 DEBUG [o.core.notifications.core] Getting messages with id: 29e55e73-4c69-4ad5-a022-dc5d0625c20c
01-28 14:24:00 DEBUG [o.core.notifications.core] Returning for 29e55e73-4c69-4ad5-a022-dc5d0625c20c 0 messages
01-28 14:24:00 DEBUG [o.core.notifications.core] Getting messages with id: 29e55e73-4c69-4ad5-a022-dc5d0625c20c
01-28 14:24:00 DEBUG [o.core.notifications.core] Returning for 29e55e73-4c69-4ad5-a022-dc5d0625c20c 0 messages
01-28 14:24:00 DEBUG [o.core.notifications.core] Getting messages with id: 29e55e73-4c69-4ad5-a022-dc5d0625c20c
01-28 14:24:00 DEBUG [o.core.notifications.core] Returning for 29e55e73-4c69-4ad5-a022-dc5d0625c20c 0 messages
01-28 14:24:05 DEBUG [o.core.notifications.core] Notifying frontend
01-28 14:24:05 DEBUG [o.core.notifications.core] Done notifying frontend
01-28 14:24:05 DEBUG [hpotato.core.plugins.base] Acquiring lock: media.get.197a8539babe45e8aeec5cf32b329bf1
01-28 14:24:05 INFO [hpotato.core.plugins.base] Opening url: get https://api.themoviedb.org/3/movie/tt1675434?api_key=xxx&append_to_response=alternative_titles&language=en, data: []
01-28 14:24:05 INFO [hpotato.core.plugins.base] Opening url: get https://api.couchpota.to/info/tt1675434/?ignore=1, data: []
01-28 14:24:05 INFO [hpotato.core.plugins.base] Opening url: get https://www.omdbapi.com/?apikey=xxx&type=movie&i=tt1675434, data: []
01-28 14:24:05 DEBUG [hpotato.core.plugins.base] Setting cache omdbapi.cache.tt1675434
01-28 14:24:05 INFO [ie.providers.info.omdbapi] Found: The Intouchables (2011)
01-28 14:24:05 DEBUG [hpotato.core.plugins.base] Setting cache eee7753f752804e2fdca4e3c4b59b5a8
01-28 14:24:05 DEBUG [hpotato.core.plugins.base] Setting cache 95e20dd07d4adecba7d4bddb90ae1760
01-28 14:24:05 DEBUG [   couchpotato.core.event] Return modified results for movie.info
01-28 14:24:05 DEBUG [to.core.media.movie._base] Adding titles: [u'The Intouchables', u'Intouchables', u'\u65e0\u6cd5\u89e6\u78b0', u'Untouchable', u'Intoc\xe1veis', u'\u6700\u4f73\u62cd\u6863', u'\u4e0d\u53ef\u89e6\u78b0', u'\u4e0d\u53ef\u89e6\u6478', u'Amigos Intocables', u'\u041d\u0435\u043f\u0440\u0438\u043a\u0430\u0441\u0430\u0435\u043c\u044b\u0435', u'Amigos intocables', u'1+1']
01-28 14:24:05 DEBUG [hpotato.core.plugins.base] Releasing lock: media.get.197a8539babe45e8aeec5cf32b329bf1
01-28 14:24:05 DEBUG [to.core.media._base.media] Changing status for Intouchables
01-28 14:24:05 INFO [hpotato.core.plugins.base] Opening url: get https://api.couchpota.to/eta/tt1675434/, data: []
01-28 14:24:05 DEBUG [hpotato.core.plugins.base] Setting cache 8248ecaac8e969f7084bd19e49e4de6d
01-28 14:24:05 DEBUG [iders.info.couchpotatoapi] Found ETA for tt1675434: {u'dvd': 1362438000, u'expires': 1549919758, u'theater': 1337896800, u'bluray': True}
01-28 14:24:05 DEBUG [o.core.notifications.core] Notifying frontend
01-28 14:24:05 DEBUG [o.core.notifications.core] Done notifying frontend
01-28 14:24:05 INFO [core.media.movie.searcher] Search for Intouchables in 720p ignoring ETA
01-28 14:24:05 INFO [hpotato.core.plugins.base] Opening url: get https://www2.yggtorrent.gg/engine/search?category=2145&do=search&sub_category=all&name=intouchables&file=&uploader=&description=, data: []
01-28 14:24:05 ERROR [hpotato.core.plugins.base] Failed opening url in YGG: https://www2.yggtorrent.gg/engine/search?category=2145&do=search&sub_category=all&name=intouchables&file=&uploader=&description= Traceback (most recent call last):
HTTPError: 503 Server Error: Service Temporarily Unavailable for url: https://www2.yggtorrent.gg/engine/search?category=2145&do=search&sub_category=all&name=intouchables&file=&uploader=&description=

01-28 14:24:05 DEBUG [hpotato.core.plugins.base] Failed getting cache: Traceback (most recent call last):
HTTPError: 503 Server Error: Service Temporarily Unavailable for url: https://www2.yggtorrent.gg/engine/search?category=2145&do=search&sub_category=all&name=intouchables&file=&uploader=&description=

01-28 14:24:05 DEBUG [core.media.movie.searcher] Nothing found for Intouchables in 720p
01-28 14:24:05 INFO [core.media.movie.searcher] Search for Intouchables in 1080p ignoring ETA
01-28 14:24:05 INFO [hpotato.core.plugins.base] Opening url: get https://www2.yggtorrent.gg/engine/search?category=2145&do=search&sub_category=all&name=intouchables&file=&uploader=&description=, data: []
01-28 14:24:05 ERROR [hpotato.core.plugins.base] Failed opening url in YGG: https://www2.yggtorrent.gg/engine/search?category=2145&do=search&sub_category=all&name=intouchables&file=&uploader=&description= Traceback (most recent call last):
HTTPError: 503 Server Error: Service Temporarily Unavailable for url: https://www2.yggtorrent.gg/engine/search?category=2145&do=search&sub_category=all&name=intouchables&file=&uploader=&description=

01-28 14:24:05 DEBUG [hpotato.core.plugins.base] Failed getting cache: Traceback (most recent call last):
HTTPError: 503 Server Error: Service Temporarily Unavailable for url: https://www2.yggtorrent.gg/engine/search?category=2145&do=search&sub_category=all&name=intouchables&file=&uploader=&description=

01-28 14:24:05 DEBUG [core.media.movie.searcher] Nothing found for Intouchables in 1080p
01-28 14:24:05 DEBUG [o.core.notifications.core] Notifying frontend
01-28 14:24:05 DEBUG [o.core.notifications.core] Done notifying frontend
01-28 14:24:05 DEBUG [o.core.notifications.core] Notifying frontend
01-28 14:24:05 DEBUG [o.core.notifications.core] Done notifying frontend
01-28 14:24:06 DEBUG [o.core.notifications.core] Getting messages with id: 8d3ac903-8da9-4d2b-828c-3aad525d82ff
01-28 14:24:06 DEBUG [o.core.notifications.core] Returning for 8d3ac903-8da9-4d2b-828c-3aad525d82ff 3 messages
01-28 14:24:08 DEBUG [o.core.notifications.core] Getting messages with id: bcf6491e-25be-4d0c-a1fa-96548fcacb3a
01-28 14:24:08 DEBUG [o.core.notifications.core] Returning for bcf6491e-25be-4d0c-a1fa-96548fcacb3a 0 messages

J'ai du mal à comprendre car l'URL https://www2.yggtorrent.gg/engine/search?category=2145&do=search&sub_category=all&name=intouchables&file=&uploader=&description= est bien accessible mais pourquoi n'arrive-t-il pas à trouver le torrent?

Je n'ai pas essayé d'autres trackers car je n'en connais pas d'autres et la plupart sont down.

Merci pour votre aide.

dansleboby commented 5 years ago

Ils sont sur cloudflare ça bloque surement les grabber

Ripolin commented 5 years ago

Cloudflare utilise un challenge javascript afin de tester la valider du navigateur. Or dans CP, pas de moteur javascript intégré. Si tu désactive le moteur Javascript de ton navigateur tu devrais normalement retomber sur une erreur 503.

Nasjoe commented 5 years ago

Du coup, votre plugin ne fonctionne plus, c'est ça ? Il me semble avoir le même soucis.

atah commented 5 years ago

Idem pour moi, ça fait 2 mois que le plugin ne fonctionne pas bien chez moi et par intermittence il me télécharge des films sans rien modifier

Mon erreur actuel :

02-12 18:54:34 ERROR [ ygg.ygg] Failed searching release from YGG: Traceback (most recent call last): File "C:\Users\Admin\AppData\Roaming\CouchPotato\custom_plugins\ygg\ygg.py", line 187, in _searchOnTitle AttributeError: 'NoneType' object has no attribute 'find_all'

J’utilise Sickrage et je n’ai aucun problème pour mes séries, il y à forcément une solution

Je remercie Ripolin pour sa contribution et le temps qu’il passe pour nous satisfaire

Ripolin commented 5 years ago

Je teste une parade au travers du module https://github.com/Anorov/cloudflare-scrape qui permet d'executer du code js au travers d'un interpréteur nodejs et donc simuler le comportement d'un navigateur afin de berner cloudflare. Cela semble fonctionner pour les recherches, néanmoins je constate que l'authentification a aussi été modifiée afin de vérifier la aussi l'utilisation d'un navigateur. En bref je continue à chercher une parade même si le temps me manque ;p

NB : la seule et vrai solution à long terme est la mise en oeuvre par ygg d'une api rest permettant aux bots d'effectuer des recherches comme au bon vieux temps de t411. Mais je doute que cela vienne un jour à la vue du "business plan" de ygg.

Nasjoe commented 5 years ago

En effet, ils n'ont probablement pas beaucoup d’intérêt à ce que les usager ne passent pas par l'interface web et la publicité. J'avais fabriqué un scraper avec du Selenium en python qui pilotait un navigateur PhantomJS à l'époque de T411. C’était un peu lourd mais ça marchait. Je ne sais pas si peut t'aider ?

Caboch commented 5 years ago

Moi j'ai laissé tombé le plugin, y'a pas d'autres solutions à part utiliser l'interface web. J'avais tenté avec Jackett aussi, ça fonctionnait 1-2 fois puis mon IP était blacklisté. Faudrait que je cherche d'autres trackers que yggtorrent

typiak84 commented 5 years ago

A franchement, là ils sont pas cool, car pour certain comme moi ont participé depuis le début... Aujourd'hui j'ai un ratio de ouf et j'utilise ma seedbox en seed sans restriction sans compter qu'une fois que j'ai des fichiers rare, je les laisse en seed pendant plusieurs mois. Bref, je joue le jeux quoi! mais semble-t-il, pas eux... Ripolin, du neuf de ton côté?

Ripolin commented 5 years ago

Désolé pour le retard :sweat:

l semblerait que la sécurité CF ai sauté et que le simple fait de dissocier l'url de login des autres urls refasse fonctionner le plugin. J'ai donc ajouté un nouveau paramètre login_url afin de dissocier l'url de login des autres (https://www.yggtorrent.gg vs https://www2.yggtorrent.gg).

Mes TU passent sur la branche develop mais si quelqu'un d'autre peut me faire part de ses retours ce serait encore mieux.

typiak84 commented 5 years ago

Alors, comme je fais toujours, je reteste la version précédente avant de mettre en place la nouvelle version. Et là, surprise: plus de problème de Login. En revanche, il ne me trouve que très peu de résultat (entre 2 et 4). Ensuite, j'ai quand même testé la dernière version (develop) et là: aucune différrence! Toujours pas de problème de Login et toujours aussi peu de résultat proposé: bien moins nombreux que le nombre qui sort de la recherche quand je fais ub copier Collé de l'URL de recherche généré par le Plugin.

Ripolin commented 5 years ago

Concernant le nombre de résultats, met les logs en DEBUG pour voir ce que CP fait des résultats. Sinon concernant l'authentifaction, la différence entre les versions master & develop est que en develop, le système est capable de détecter que l'on est bien authentifié. Avec la version de la branche master, peut importe ce que je renseignais comme login/pwd, les tests me retournais OK.