[OPENDATA]Publication quotidienne des données de notre base de données sur data.gouv.fr au format Parquet

[geoffreyaldebert]

• publier sur data.gouv.fr des csvs enrichis des données récupérées de l'annuaire
• parquet si possible

[HAEKADI]

Description

Nous souhaitons publier quotidiennement les données de notre base de données sur data.gouv. La publication se fera au format Parquet et sera organisée en deux fichiers distincts :

1. Fichier des unités légales
2. Fichier des établissements

La publication suivra le workflow d'indexation existant et se fera sur le compte de data.gouv. Il est impératif de rédiger la documentation avant la première publication.

Détails des fichiers à publier

1. Fichier des unités légales

Ce fichier contiendra les champs suivants :

• siren
• siret_siege
• nombre_etablissements
• nombre_etablissements_ouverts
• identifiant_association
• etat_administratif
• nom_raison_sociale
• nom
• nom_usage
• prenom
• sigle
• date_creation
• date_fermeture
• activite_principale
• nature_juridique
• economie_sociale_solidaire
• est_societe_mission
• liste_idcc
• est_entrepreneur_spectacle
• statut_entrepreneur_spectacle
• egapro_renseignee
• colter_code_insee
• colter_code
• colter_niveau
• est_ess_france
• colter_elus
• est_qualiopi
• liste_id_organisme_formation
• est_siae
• type_siae

2. Fichier des établissements

Ce fichier contiendra les champs suivants :

• activite_principale
• cedex
• code_pays_etranger
• code_postal
• commune
• complement_adresse
• date_creation
• date_debut_activite
• date_fermeture
• distribution_speciale
• est_siege
• etat_administratif
• indice_repetition
• libelle_cedex
• libelle_commune
• libelle_commune_etranger
• libelle_pays_etranger
• libelle_voie
• liste_finess
• liste_id_bio
• liste_idcc
• liste_rge
• liste_uai
• latitude
• longitude
• geo_score
• nom_commercial
• numero_voie
• siren
• siret
• date_mise_a_jour_insee
• type_voie

Tâches

1. Exporter les données: Extraire les données de notre base de données dans les formats décrits ci-dessus.
2. Vérifier l'intégrité et la cohérence: Assurer l'exactitude et la cohérence des données exportées.
3. Convertir au format Parquet: Transformer les fichiers exportés au format Parquet.
4. Rédiger la documentation: Créer une documentation détaillée expliquant le processus de publication, les champs des fichiers et leur signification.
5. Publier sur data.gouv.fr: Mettre en ligne les fichiers Parquet sous le compte data.gouv via l'API.
6. Automatiser la publication quotidienne: Intégrer la publication dans le workflow d'indexation existant pour garantir une mise à jour quotidienne.

Références

• Documentation API data.gouv

[HAEKADI]

cc @XavierJp

[XavierJp]

Concernant les donnees

Je me demande si on a pas interet a publier l'adresse agrégée et la denomination calculee

[XavierJp]

Ainsi que les deux dates inscription insee et inscription inpi