Midi info not refreshing

keotl / ohdieux

A podcast feed converted for Radio-Canada Ohdio / Un convertisseur de flux de balados pour Radio-Canada Ohdio

https://ohdieux.ligature.ca

GNU Affero General Public License v3.0

31 stars 5 forks source link

Midi info not refreshing #30

Closed Sytten closed 6 months ago

Sytten commented 6 months ago

Description Might be a bug in the limit episode? Not refreshing for the past 2 days.

Pour reproduire / To Reproduce

Link: https://ohdieux.ligature.ca/rss?programme_id=3858&tag_segments=true&limit_episodes=true

rfjqc commented 6 months ago

J'ai mes amis qui me contacte en panique! J'ai un podcast qui est rentré hier mais rien d'autre.

keotl commented 6 months ago

Malheureusement, il semble que le trafic sur ohdieux ait augmenté suffisamment au cours des derniers mois pour que RC se mette à appliquer du rate-limiting sur leur API interne.

Je ne pourrai vraisemblablement pas continuer à mettre à jour les programmes (du moins, aussi fréquemment).

Sytten commented 6 months ago

Je regarde le code et je ne vois pas de layer de persistance? Est-ce que tu store les épisodes quelques part?

Sinon ce que je ferais:

Caching agressif côté client/rss
DB pour éviter qu'un restart kill le data existant
Queue Redis pour les updates, tu peux debounce, retry quand tu as un 429 et slowdown les updates. Comme c'est une queue elle finie par tout updater mais le refresh rate devient variable en fonction du load

Il va sûrement y avoir un jeu de chat/souris avec leur ops team pour bloquer. Sinon faut scale sur des temp worker pour avoir plus d'IP ou utiliser des services de scrapping ala browserless.

J'ai pas vérifier si le programme essayait d'émuler l'App, souvent le rate limiting est plus agressif si tu as un bon user agent ou des trucs dans le genre.

keotl commented 6 months ago

J'ai réduit un peu la fréquence de rafraîchissement pour être un moins offensant sur leur API (une fois aux 1-2 heures, plutôt qu'une fois aux 5 minutes). Pour le reste, je pense que ton intuition est bonne, et l'implémentation ressemble effectivement à ça.

Laissez-moi savoir s'il y a encore des problèmes de rafraîchissement.

Sytten commented 6 months ago

Ouais c'est la chose à faire même si c'est moins plaisant pour l'utilisation quand tu tombe dans le 2h de caching. Je vais probablement run ma propre instance.