etalab / rncs_worker_api_entreprise

API pour récupérer et mettre à disposition les données du Répertoire National du Commerce et des Société
https://entreprise.data.gouv.fr
MIT License
23 stars 13 forks source link

Doublon dans les fichiers de stocks #86

Open brindu opened 5 years ago

brindu commented 5 years ago

Fichiers de stocks

Ce que j'appelle "fichiers de stocks" ce sont les fichiers qui sont présents dans les stocks (qu'ils soient partiels ou complets), par exemple :

Ces fichiers sont censés contenir de la donnée à insérer en base : création d'une nouvelle personne morale, d'un nouveau représentant, ...

Cas d'erreur observé

Il arrive que des données déjà importées en base soient à nouveau diffusées dans des nouveaux fichiers. Par exemple, le 22/11/2018, le greffe 7501 transmet une nouvelle personne morale à créer dans un fichier de type 1_PM.csv : numero_gestion: '2018B28608', siren: '825259625' (fichier tc/flux/2019/11/22/7501/355/7501_355_20181122_205502_1_PM.csv) Le lendemain, le même greffe 7501 transmet la même personne morale dans le fichier 1_PM.csv (fichier tc/flux/2019/11/23/7501/356/7501_356_20181123_204433_1_PM.csv).

Si nous respectons la procédure de transmission des données, cela se traduit par la création d'un doublon en base de données... Ceci est un problème : les données diffusées dans les fichiers 1_PM.csv ne devraient pas être sujette à la création de doublons, les mises à jour d'informations elles sont censées être transmisent dans les fichiers 2_PM_EVT.csv.

Nous avons fait le choix de ne pas insérer deux fois les même informations en base, mais d'écraser les anciennes données par les nouvelles (en annule et remplace, comme pour les stocks partiels). Ce choix ne garanti en rien qu'il n'y a pas de pertes de données, ce qui arrivera dès que toutes les données ne seront pas transmises au complet après la première insertion en base.

Que fait l'INPI lorsque ce cas d'erreur est rencontré ? Cette situation entraine-t-elle la demande d'un dossier correctif auprès des Greffes ?