Réglage scraper la France s'engage

[Eliselalique]

• [x] Les photos n'apparaissent pas : problème de lien ?

Le scraper de La France s'Engage scrape tout le texte présent dans la page projet du site. Sans mise en page, visuellement ça fait un gros bloc pas facile à lire.

• [x] Possibilité de ne scrapper que le champs "activité" du site (avant "objectif)

• [ ] D'autre part, le site contient des vidéos, est-il possible de scraper la vidéo pour l'ajouter à la fiche projet ?

Problème sur le scrapping des lauréat 2016 et 2017 -> Le lien vers le site sourceur envoit vers une image JPG Exemple : Appartement partagés entre jeunes actifs et personnes de la rue

• [x] La fiche déployée n'affiche pas le lien "voir le site du projet" alors que sur le site, il existe bien une rubrique : Découvrez le site de l'association avec le lien direct vers le site du projet

[Eliselalique]

-> Xpath des scrapers à régler

[DavidBruant]

Le site a vécu un redesign, donc il semble nécessaire de refaire le scraper Aussi, il est nécessaire de scroller sur le page pour faire apparaître tous les éléments. Ce cas n'est pas encore couvert par OpenScraper

[JulienParis]

effectivement le site a été refait en reactif et je vais voir si je peux intégrer l'infinite scroll dans le code source d'open scraper en me basant sur ce snippet : https://stackoverflow.com/questions/20986631/how-can-i-scroll-a-web-page-using-selenium-webdriver-in-python

[JulienParis]

premier jet de test pour gérer l'infinite scroll : https://github.com/entrepreneur-interet-general/OpenScraper/commit/fe582d0dfe9c8f7c8f1c9091365cb36f8e18e060

[JulienParis]

En local j'arrive maintenant à récupérer les images, à faire de l'infinite scroll, à récupérer le lien vers le site du projet, et à récupérer uniquement les paragraphes "objectifs"...

--> 65 résultats en local en intégrant les lauréats 2016, 2017 et 2018

Je n'ai pas vu de vidéos sur la nouvelle version de leur site pour le moment mais le principal est là...

Reste à mettre la fonction "infinite scroll" en prod pour vérifier son bon fonctionnement sur ce site et la bonne conformité des autres spiders...

[JulienParis]

OpenScraper à tester dans sa nouvelle version : 1.4

[JulienParis]

les images sont maintenant bien rescrappées avec le système d'infinite scroll, mais le scrapping s'arrête autour de 45/49 items, alors qu'il y en un peu plus en ligne (j'arrive à en scrapper 65 en local avec la même config). Je pense qu'il s'agit d'un simple problème de "pause" lors de l'infinite scroll : la ligne time.sleep(scroll_pause_time) n'a pas l'air de faire vraiment de pause... pe demander au driver et non à l'appli de se mettre en pause...