search

etalab / transport-site

Rendre disponible, valoriser et améliorer les données transports
https://transport.data.gouv.fr
194 stars 30 forks source link

Notifications : " Nouveau jeu à référencer" pas d'alerte pour 2 datasets (à minima) #3742

Closed cyrilmorin closed 9 months ago

cyrilmorin commented 9 months ago

Hello,

Les datasets CC Montesquieu et CC Jalles Eau Bourde n'ont à priori pas été intégrées dans les alertes "Nouveau jeu à référencer" et il y a bien à priori des éléments prévu dans la règle notamment les mots clés GTFS et NETEX

Règles

Vous pourriez regarder si c'est "normal" pour qu'on puisse ajouter des mots/critères ou s'il y a eu une anomalie svp ?

Merci :)

AntoineAugusti commented 9 months ago

Hello,

Je viens de regarder et voici ce qu'on obtient comme liste si on regarde pour les 10 derniers jours.

On retrouve donc bien les 2 JDDs.

En regardant particulièrement le JDD de Monstesquieu je constate que :

Cette différence pourrait expliquer le fait que l'on ait raté ce JDD, le job regarde ce qui a été créé dans les dernières 24h tous les jours (/api/1/datasets/?sort=-created&page_size=500).

Je vais les interroger sur le fonctionnement exact de l'API et adapter si besoin.

AntoineAugusti commented 9 months ago

Même pas besoin de demander, j'ai ma réponse dans le code.

https://github.com/opendatateam/udata/blob/ebb86a8558a35964bb0892d74ea3d271f851e116/udata/core/dataset/api.py#L79

Ça a été modifié il y a 10 mois par contre… https://github.com/opendatateam/udata/commit/c2539a5f9fd15cec3833e21013c17f3642851e4d#diff-40eddfe27558a331de9feb00ad21869b53b16cdf3c0c89074aefb00047b55211

Je vais adapter le code du job et voir si on a des JDDs qui ont été ignorés.

Bien vu !

cyrilmorin commented 9 months ago

Super duper merci pour l'analyse rapide !

AntoineAugusti commented 9 months ago

J'ai ouvert une PR dans la foulée. J'ai rééxécuté le job sur les 10 derniers mois et voici la liste des JDDs qui respectent les règles, non référencés et qui proviennent d'une plateforme tierce.

cyrilmorin commented 9 months ago

Et moi qui comptais me la couler douce cette fin de semaine .... On regarde ça avec @AurelienC et on rattrape ce qu'on doit rattraper. Merci pour le repêchage @AntoineAugusti :)