search

entrepreneur-interet-general / CIS-front

Site public du carrefour des innovations sociales
http://carrefourdesinnovationssociales.fr/
MIT License
7 stars 6 forks source link

Fonctionnalité de mise à jour automatique des scrapers sur Openscraper #282

Open Eliselalique opened 5 years ago

BenedictePachod commented 5 years ago

Je ne suis pas sûre de comprendre pourquoi c'est une priorité pour la sortie du site. L'actualisation peut se faire manuellement.

Eliselalique commented 5 years ago

Dans la communication du CIS on met beaucoup en avant la mise à jour des données comme étant innovant dans la démarche et au coeur de L'ADN du projet. Le fait davoir une mise à jour automatique des scrapers plutôt que manuelle (Qui est aussi chronophage) serait une fonctionnalité intéressante. On peut en discuter ensemble lundi pour arbitrer si on l'embarqué dans le milestone vision du projet ou pas

Le ven. 1 févr. 2019 à 17:46, BenedictePachod notifications@github.com a écrit :

Je ne suis pas sûre de comprendre pourquoi c'est une priorité pour la sortie du site. L'actualisation peut se faire manuellement.

— You are receiving this because you authored the thread. Reply to this email directly, view it on GitHub https://github.com/entrepreneur-interet-general/CIS-front/issues/282#issuecomment-459787092, or mute the thread https://github.com/notifications/unsubscribe-auth/AilOMhPt74481aGfU85kgZ_N9KDpMmy9ks5vJG9LgaJpZM4aawx4 .

BenedictePachod commented 5 years ago

Merci pour ta réponse Elise. Voici mon opinion sur la question : yes, cet argument est mis en avant ! En revanche il me semble que la présence de cette fonctionnalité n’est pas bloquante pour le lancement du site (1er temps d’appropriation par les acteurs du collectif avant un 2d temps de communication plus importante) et pourra être rajoutée dans les jours qui suivent. Je vous laisse en discuter lundi et aviser ☺ Bon week-end, Bénédicte

De : Eliselalique [mailto:notifications@github.com] Envoyé : vendredi 1 février 2019 17:55 À : entrepreneur-interet-general/CIS-front Cc : PACHOD Bénédicte; Comment Objet : Re: [entrepreneur-interet-general/CIS-front] Fonctionnalité de mise à jour automatique des scrapers sur Openscraper (#282)

Dans la communication du CIS on met beaucoup en avant la mise à jour des données comme étant innovant dans la démarche et au coeur de L'ADN du projet. Le fait davoir une mise à jour automatique des scrapers plutôt que manuelle (Qui est aussi chronophage) serait une fonctionnalité intéressante. On peut en discuter ensemble lundi pour arbitrer si on l'embarqué dans le milestone vision du projet ou pas

Le ven. 1 févr. 2019 à 17:46, BenedictePachod notifications@github.com a écrit :

Je ne suis pas sûre de comprendre pourquoi c'est une priorité pour la sortie du site. L'actualisation peut se faire manuellement.

— You are receiving this because you authored the thread. Reply to this email directly, view it on GitHub https://github.com/entrepreneur-interet-general/CIS-front/issues/282#issuecomment-459787092, or mute the thread https://github.com/notifications/unsubscribe-auth/AilOMhPt74481aGfU85kgZ_N9KDpMmy9ks5vJG9LgaJpZM4aawx4 .

— You are receiving this because you commented. Reply to this email directly, view it on GitHubhttps://github.com/entrepreneur-interet-general/CIS-front/issues/282#issuecomment-459789998, or mute the threadhttps://github.com/notifications/unsubscribe-auth/AeA0Fd7VI_IlfZbN_TgmQCCrMSRfmD2eks5vJHFVgaJpZM4aawx4.

DavidBruant commented 5 years ago

Le fait davoir une mise à jour automatique des scrapers plutôt que manuelle (Qui est aussi chronophage)

Pour essayer de donner une référence, une mise à jour, actuellement et dans le cas général, c'est un travail d'une petite heure :

Ce temps pourrait être réduit à 1 clic + attendre que le crawl aie lieu en prod donc assez rapide

Ce qui risque d'être plus long, c'est le fait que les scraper vont casser régulièrement (que la mise à jour soit automatisée ou manuelle). Si les scrapers ont commencé en avril, j'ai déjà compté 3 redesigns qui nécessitent de réécrire le scraper, j'imagine qu'il y en a une poignée d'autres, donc quelque part entre tous les mois ou tous les deux mois, il va falloir mettre à jour un scraper

La détection des scrapers à réparer est actuellement manuelle. Il faut ensuite corriger (entre 1/2 journées et plusieurs jours à chaque fois). Il est possible de réduire ce temps de réparation, mais ça demandera un travail pour la gestion automatisée des erreurs, comme je le décris dans la proposition de redesign d'OpenScraper

et pourra être rajoutée dans les jours qui suivent.

Je suis d'accord sur l'intention (on peut le rajouter après le lancement), mais je ne suis pas optimiste sur l'estimation. J'ai plutôt l'impression qu'il s'agit d'un chantier de quelques semaines (2 ?)

JulienParis commented 5 years ago

cette issue devrait être copiée/instruite à mon sens plutôt dans le repo openscraper. De plus les emails ne devraient pas apparaître dans les issues (toutes ces discussions sont publiques)