Le re-crawl d'un même site détruit les identifiants des objets scrappés

entrepreneur-interet-general / OpenScraper

An open source webapp for scraping: towards a public service for webscraping

http://www.cis-openscraper.com/

MIT License

92 stars 22 forks source link

Le re-crawl d'un même site détruit les identifiants des objets scrappés #39

Open DavidBruant opened 5 years ago

DavidBruant commented 5 years ago

La destruction des identifiants casse les liens côté front-end. Voir https://github.com/entrepreneur-interet-general/CIS-front/issues/144

JulienParis commented 5 years ago

proposition (pas encore mis en place) : il faudrait déterminer / avoir une interface type liste à choix multiples dans la configuration de scrapers permettant de choisir un ou plusieurs champs permettant de comparer la donnée scrappée avec la donnée déjà enregistrée, afin de mettre à jour uniquement les autres champs et conserver l'identifiant...