Récupérer plusieurs chaines en parallèle

racacax / XML-TV-Fr

46 stars 30 forks source link

Récupérer plusieurs chaines en parallèle #43

Open racacax opened 1 year ago

racacax commented 1 year ago

Actuellement, chaque récupération de chaine est fait de manière séquentielle, les unes après les autres. Ajouter une option pour permettre la récupération de X chaines en même temps pourrait permettre d'accélerer le processus. En particulier lorsque le ralentissement est dû au Provider et non à la connexion Internet.

racacax commented 3 months ago

Ajouter une limitation sur combien de chaines en parallèle (par défaut 1)
Ajouter une limitation sur combien de chaines en parallèle pour le même provider (par défaut 1). Skip à la chaine suivante si limite atteinte pour le provider, on reviendra dessus plus tard.

racacax commented 3 months ago

Premiers tests réalisés : 700/1007 chaines grab en moins de 3mn avec 10 threads en parallèle avec max 1 instance du même provider. Ralentissement ensuite. Logique étant donné que sur la fin, il ne reste que les providers les plus utilisés et les plus lents. Grab fini en 10-12mn.

TODO :

Rétablissement du cache personnalisé des providers
Ajouter une limitation customisée par provider (ex : SFR peut avoir plusieurs instances étant donné que seul un fichier par jour est nécessaire pour l'ensemble des chaines)
Tests
Garder l'ancien système si un seul thread car le multithread nécessite l'autorisation d'utiliser la fonction popen, ce qui n'est pas le cas pour tout le monde.
Update la doc (PHP 8 nécessaire)
Formatter l'affichage dynamique

racacax commented 3 months ago

Réfléchir à la potentielle utilisation de Redis pour le cache ne servant que pendant le lancement du programme pour que les threads puissent communiquer avec le process principal sans écrire dans un fichier sur le disque

Benoit382 commented 3 months ago

Redis, c'est pas mal, mais tu as écrit plus haut que tu t'inquiètes pour les utilisateurs qui ne peuvent faire un popen, Je pense que rajouter un service externe est peut-être encore plus compliqué 😅

As tu regardé APCU ?

racacax commented 3 months ago

Je vais regarder du côté d'APCU, ça peut être une solution 👍 Après, une solution de cache spéciale n'est nécessaire que pour les personnes utilisant le multithread de toute manière.