PE - Traitement du fichier actions

gip-inclusion / carnet-de-bord

Service public numérique 🇫🇷 qui a pour objectif de faciliter la coordination des échanges entre acteurs et de simplifier la lecture des parcours d’insertion.

https://carnetdebord.inclusion.beta.gouv.fr/

Apache License 2.0

16 stars 7 forks source link

PE - Traitement du fichier actions #755

Open lionelB opened 2 years ago

lionelB commented 2 years ago

Création d'un cronjob qui va

[x] se connecter au serveur pole-emploi
[x] récupérer les fichiers action
[x] déchiffrer les fichiers
[x] se connecter à la bdd CdB en direct
[x] Ajouter l'unique id PE au bénéficiaire lors de l'import #1268
[x] Parser le fichier des actions
[x] Faire le mapping actions PE => focus CdB
[x] importer les actions dans notebook_event
[x] finaliser l'écriture des tests

lionelB commented 2 years ago

on ne conserve que les ligne dont la date_prescription est inférieure à 24 derniers mois
on ne conserve que les lignes avec une date_prescription
on ne converve que les lignes dont l'id fait partie des id du fichier principal qui ont la ligne brsa a Oui
on ignore les lignes avec qui on lbaction qui commence par "UNE AUTRE ACTION"

On distingue 2 domaine dans lesquels on fera rentrer des actions dans l'historique de parcours:

Action Formation
Action Emploi

Action Formation

On prend toute les lignes dont la colonne "objectif_formation" a une valeur différente de "NULL" ou "Non concerné" La date de l'action correspond au champ "date_prescription" Le statut de l'actions sera "Réalisé" si on a une valeur dans le champ "date_fin" ou "date_realisation" sinon le statut sera "En cours"

Action Emploi

On prend toute les lignes dont la colonne "objectif_formation" est "NULL" ou "Non concerné" La date de l'action correspond au champ "date_prescription" Le statut de l'actions sera "Réalisé" si on a une valeur dans le champ "date_fin" ou "date_realisation" sinon le statut sera "En cours"

Pauldoliveira commented 2 years ago

Concernant la distinction des actions suite à l'échange d'hier on distinguera deux domaine à savoir "action emploi" et "action formation" afin de différencié les deux domaines dans le fichier utilisé la colonne "objectif formation": les valeurs de la colonne "objectif formation" correspondant à "Nul" et "Non concerné" correspondent au domaine "action emploi". Les valeurs: "(Re)mobilisation, aide à l'élaboration de projet professionnel", "Adaptation poste travail AFPR", "Adaptation poste de travail POE", "Certification", "Création d'entreprise", "perfectionnement élargissement des compétence", "préparation à la qualification", "qualification", "professionnalisation", "remise à niveau", "remise à niveau maîtrise des savoirs de bases initiation". Concernant les dates relatives aux actions, afficher la date de prescription pour toutes les types d'actions (je demande à Laetitia) concernant l'affichage du statut je fais une proposition à Laetitia et Ronan je remet un com après

ronanjames commented 2 years ago

Formation "Si la date de fin est inférieur à la date du jour, alors on met dans l'historique si date dans le futur on crée une action "Se former" avec le libelle de la colonne Formation" -> Le libellé Formation dans le fichier PE correspond au métier visé la formation -> Le libellé Action de Formation dans CDB correspond à des types de formations (dispostifs par ex) Les deux informations sont donc différentes, mais on peut tenter. Les utilisateurs demande souvent le sujet de la formation, ça peut être l'occasion d'avoir un retour de leur part. Il faut savoir que ça percute un peu le modèle actuel.

Pauldoliveira commented 2 years ago

Au vu de nos échanges d'hier il me semble que la partie "si date dans le futur on crée une action "Se former" avec le libelle de la colonne Formation"" n'est plus juste, et doit simplement être dans l'historique CDB avec un statut en cours nan ?

Pauldoliveira commented 1 year ago

Suite aux différents échanges , pour l'import de données PE issue du fichier d'action dans "Historique de parcours" ci dessous le fichier d'action catégorisées. Categorisation des actions du fichier PE.xlsx

prendre en compte toutes les actions sans exception
pour celle qui ont un date de fin et de réalisation en plus de la date de prescription = afficher la date de réalisation (sauf UNE FORMATION DANS LE DOMAINE SUIVANT)
dans toutes les autres situation d'action = afficher la date de prescription
toutes les actions issue de ce fichier sont à considérer avec un statut terminé
Pour "UNE FORMATION DANS LE DOMAINE SUIVANT" si date de fin plus date de réalisation + libellé formation dans colonne "formation" = afficher la date de fin
Pour "UNE FORMATION DANS LE DOMAINE SUIVANT" si date de prescription + libellé formation dans colonne "formation" = afficher date de prescription
Pour "UNE FORMATION DANS LE DOMAINE SUIVANT" si pas de valeurs dans colonne "formation" = ignorer la ligne

service-dev-gip-inclusion commented 1 year ago

:tada: This issue has been resolved in version 1.166.0 :tada:

The release is available on GitHub release

Your semantic-release bot :package::rocket:

Pauldoliveira commented 1 year ago

1) forcer l'affichage "Pôle Emploi" dans la colonne structure de l'historique CDB 2)intégration catégorisation revu Categorisation.des.actions.du.fichier.PE (1).csv

jonathanperret commented 1 year ago

Un fichier de test enrichi créé par @Pauldoliveira, à intégrer comme fichier de test : actions_test.csv

vjousse commented 1 year ago

@Pauldoliveira ton fichier ne comprend plus UNE FORMATION DANS LE DOMAINE SUIVANT ce qui fait planter l'import. Est-ce voulu ?

jbuget commented 1 year ago

Bug:

Sur le carnet de Sophie Tifour Dans les actions de plus de 12 mois Les actions de type "difficulté financière" apparaissent comme "Action Undefined".