Catch-up-TV-and-More / xmltv

TV guides - XMLTV
24 stars 10 forks source link

Automation "Mise à jour Guide TV" HS #13

Open rtorrente opened 2 years ago

rtorrente commented 2 years ago

L'automation qui met à jour les guides TV semble ne plus s'exécuter depuis le dernier commit du (02/12/2021 12:00:01-CET).

Cela a pour effet de provoquer une erreur lors du chargement de la partie "Live TV" de l'extension qui se retrouve avec une erreur 404 lors de la tentative de téléchargement du fichier du jour.

Peut être que cette mise à jour pourrait être faites avec github action pour éviter les soucis serveur ?

A dispo si besoin,

Bon courage, et merci pour le travail fourni avec cette extension plus que top !

rtorrente commented 2 years ago

@sy6sy2 Bonjour,

J'ai travaillé sur une version par github action qui fonctionne mais je suis limité par un timeout après 6h pour un job précis de github action, ce qui ne suffit pas sur le premier lancement où 1 journée prend environ 45 min - 1h pour être fetchée. C'est une version fonctionnelle à condition de faire un lancement sur desktop avant de faire tourner les github action.

J'ai aussi une version parallélisable où chaque journée du delta(0,8) est un job, ce qui fait que tout le workflow se complete en 45 min, cependant avec ce fonctionnement, il n'est pas facile de conserver les anciens RAW tout en garantissant que les raw qui ont était fetch de nouveaux sont bien pris en compte.

Est-ce un soucis de supprimer tous les jours l'intégralité et de refetcher l'intégralité à chaque lancement de la CI ? Cette fonctionnalité avait-elle uniquement pour but d'accélérer le script, ce qui n'aurait plus lieu ici, ou y'a t'il une autre raison ?

sy6sy2 commented 2 years ago

Hello ! Merci pour l'info !! Désolé en effet le serveur de la maison était en carafe. Tout devrait rentrer dans l'ordre cette nuit ou demain 😉

Merci d'avoir regardé à une version GitHub Action, je n'avais pas envisagé cette option au début par peur de plusieurs choses comme un blacklist coté GitHub ou bien des bloquages par les serveurs de telerama and co à cause d'une IP non française. Mais si ça fonctionne je ne suis pas contre, au contraire 😉

Concernant tes questions, je ne pense pas que ce soit un problème en soit ; si je me souviens bien (à confirmer...) j'avais fait ça pour optimiser le temps d'exécution du script et éviter de surcharger les serveurs des services pour rien (et surtout ne pas me faire blacklisted mon ip...). Par contre, plus important peut être, il me semble qu'il y avait des souci aléatoires avec telerama où d'un jour à l'autre il manquait des programmes pour un delta en particulier (aucune idée de si le problème est toujours présent..), c'est pour ça qu'il y a le petit "hack" qui vérifier la taille "min" d'un fichier raw.

joaopa00 commented 1 year ago

Le changement a été fait. Le grabber pour la France et l'Italie fonctionne. Mais pas celui du Royaume-Uni. Si quelqu'un a une idée.

Sur un mois, on est largement en dessous de ce qu'autorise Github en terme de téléchargement et de charge du système.

Kanolm commented 1 year ago

Bonjour,

Les fichiers ne sont plus upload dernièrement.

joaopa00 commented 1 year ago

C'est à cause du grapper UK qui est trop long à télécharger. Comme github accepte seulement des actions qui durent moins de 6H cela provoque l'arrêt de l'action et empéche la mise à jour des fichiers xml. Il faut un changement structurel dans la gestion des grabbers. Cela prendra du temps à être réalisé. Dans la semaine, lorsque j'aurai le temps...., je désactiverai le grabber UK pour que le français te l'italien puissent fonctionner.

Kanolm commented 1 year ago

Merci beaucoup!