[Refactoring] Diviser les opérations de maintenance de la dbb en plus petites tâches

[annemarie35]

rake clean_db:delete_2_urls_from_parse Script plus long qui nécessite l'analyse du contenu des offres (supprime les codes romes et adresses invalides ainsi que les offres non disponibles).

--> le découper en trois fonctions distinctes

• supprime les doublons (script sql attention à son execution sur heroku)
• supprime les codes rome invalides
• supprime les adresses invalides (ex : "ile de france")
• supprime les offres non disponibles

[annemarie35]

Idem pour les parser d'insertions dans la BDD car les tâches rakes sont longues du coup et ne vont pas forcement jusqu'au bout en prod

[annemarie35]

A voir car mieux vaut solliciter les serveurs de pole emploi une seule fois.

[annemarie35]

Alors, finalement, il y a trois scripts

• le premier {parser/body_parser.rb contient toutes les méthodes qui permettent d'analyser le code source d'une url et de récupérer le contenu des offres.
• le second parser/pole_emploi_parser.rb récupère les urls depuis le site de pôle emploi (tous les départements pour une liste de métiers donnée)
• le troisième parser/insert_db.rb traite les urls. Si l'url est valide, l'offre d'emploi est insérée dans la table job_offers, le cas échéant, l'url est supprimée de la table parse