AntoineAugusti
commented
1 year ago J'ai demandé des clarifications sur le fonctionnement de l'archivage de JDD et le cas de NAM, voir sur Mattermost
Closed AntoineAugusti closed 1 year ago
AntoineAugusti
commented
1 year ago J'ai demandé des clarifications sur le fonctionnement de l'archivage de JDD et le cas de NAM, voir sur Mattermost
AntoineAugusti
commented
1 year ago Les champs harvest présents dans extras dans le passé vont être déplacés dans harvest dans l'API data.gouv.fr, à prendre en compte si on réutilise le code partagé dans le premier commentaire.
https://github.com/opendatateam/udata/pull/2762#issue-1346537619
AntoineAugusti
commented
1 year ago Il y aura un e-mail avec les JDD archivés récemment à partir de maintenant suite à l'ajout de https://github.com/etalab/transport-site/pull/2797
AntoineAugusti
commented
1 year ago Je vais fermer, je pense qu'on a assez fait de boulot pour le moment avec un filtre dans le backoffice, un bandeau sur le JDD et la présence de ces JDD dans les e-mails quotidiens envoyés.
Les jeux de données suivants sont présents sur le PAN mais sont indiqués comme archivés sur data.gouv.fr
Peut-être que le moissonnage n'est plus bon ou que le JDD a été publié ailleurs. Ne pas hésiter à demander des clarifications à l'équipe de data.gouv.fr sur le mécanisme de "JDD archivé".
Voici la liste pour investigation et prendre contact avec les producteurs. Il semble y avoir pas mal de jeux de données publiés par Nouvelle-Aquitaine Mobilités.
Code utilisé
```elixir defmodule Mix.Tasks.Transport.DatagouvArchived do @shortdoc "Decode a GTFS-RT using the Elixir tooling" @requirements ["app.start"] require Logger use Mix.Task def run(_params) do %HTTPoison.Response{body: body, status_code: 200} = HTTPoison.get!("https://transport.data.gouv.fr/api/datasets") datasets = body |> Jason.decode!() datasets |> Enum.filter(fn dataset -> %{body: body} = HTTPoison.get!(~s{https://www.data.gouv.fr/api/1/datasets/#{dataset["id"]}/}) json = Jason.decode!(body) if not is_nil(json["archived"]) do IO.inspect([dataset["page_url"], json["extras"]["harvest:archived_at"], json["extras"]["harvest:archived"]]) true else false end end) end end ```