Create a separate scraper for places in France

jamieglohere commented 1 year ago

As it turns out, there are more than 320(!) streets, roads etc. named "Salvador Allende" in France, excluding(!!) monuments and public buildings and spaces. The 326 streets in the list below are neatly mapped in this Google Maps custom map.

To do:

[x] Exclude links when it contains pablo-neruda or victor-jara (out of this dataset's scope)
[x] Use the list from http://www.abacq.org/calle/index.php?2009/05/13/349-salvador-allende-en-francia as a base and remove duplicates
[x] Compare the list against the rest of the links. If a link match is found, scrape it and add it as abacq_reference
[x] Whatever links remain that are not in the list get scraped separately

Logs when attempting to scrape France using allende-scraper-main.py:

>>> Parsing single-locale article 73 of 177: http://www.abacq.org/calle/index.php?2009/05/13/349-salvador-allende-en-francia...

Salvador Allende en Francia ...

En Francia, Jean-Marie ha realizado varios "Google Maps" incluyendo calles, avenidas, plazas y otros lugares que llevan el nombre de Salvador Allende. Sus listas, sin ser exhaustivas, comprenden más de 320 direcciones, sin contabilizar los edificios públicos como escuelas, teatros, centros culturales, estadios, ni los monumentos ...

De Francia ver   informaciones complementarias e imágenes aquí y, más especialmente, datos de lugares de los alrededores de París, acá.

Allée du Président Salvador Allende  93450 L'Ile-Saint-Denis.
Allée Salvador Allende  33600 Pessac.
Allée Salvador Allende  45100 Orléans.
Allée Salvador Allende  51120 Sézanne.
Allée Salvador Allende  72230 Arnage.
Avenue Allende  84000 Avignon.
Avenue du Président Allende  03600 Commentry.
Avenue du Président Allende  13500 Martigues.
Avenue du Président Allende  29480 Le Relecq-Kerhuon.
Avenue du Président Allende  37540 Saint-Cyr-sur-Loire.
Avenue du Président Allende  56700 Hennebont.
Avenue du Président Allende  59113 Seclin.
Avenue du Président Allende  76380 Canteleu.
Avenue du Président Allende  91560 Crosne.
Avenue du Président Allende  94800 Villejuif.
Avenue du Président Salvador Allende  13200 Arles.
Avenue du Président Salvador Allende  17100 Saintes.
Avenue du Président Salvador Allende  26800 Portes-lès-Valence.
Avenue du Président Salvador Allende  40990 Saint-Paul-lès-Dax.
Avenue du Président Salvador Allende  56600 Lanester.
Avenue du Président Salvador Allende  77100 Meaux.
Avenue du Président Salvador Allende  91100 Corbeil-Essonnes.
Avenue du Président Salvador Allende  93000 Bobigny.
Avenue Salvador Allende  11300 Limoux.
Avenue Salvador Allende  12300 Firmi.
Avenue Salvador Allende  12700 Capdenac-Gare.
Avenue Salvador Allende  13127 Vitrolles.
Avenue Salvador Allende  13190 Allauch.
Avenue Salvador Allende  18000 Bourges.
Avenue Salvador Allende  21800 Quetigny.
Avenue Salvador Allende  31120 Portet-sur-Garonne.
Avenue Salvador Allende  31140 Aucamville.
Avenue Salvador Allende  31200 Toulouse.
Avenue Salvador Allende  31210 Montréjeau.
Avenue Salvador Allende  31320 Castanet-Tolosan.
Avenue Salvador Allende  33270 Floirac.
Avenue Salvador Allende  33610 Cestas.
Avenue Salvador Allende  38130 Echirolles.
Avenue Salvador Allende  40220 Tarnos.
Avenue Salvador Allende  49240 Avrillé.
Avenue Salvador Allende  57390 Audun-le-Tiche.
Avenue Salvador Allende  58640 Varennes-Vauzelles.
Avenue Salvador Allende  59790 Ronchin.
Avenue Salvador Allende  60000 Beauvais.
Avenue Salvador Allende  62300 Lens.
Avenue Salvador Allende  63200 Riom.
Avenue Salvador Allende  63800 Cournon-d'Auvergne.
Avenue Salvador Allende  69150 Décines-Charpieu.
Avenue Salvador Allende  69800 Saint-Priest.
Avenue Salvador Allende  71100 Chalon-sur-Saône.
Avenue Salvador Allende  77200 Torcy.
Avenue Salvador Allende  78190 Trappes.
Avenue Salvador Allende  79000 Niort.
Avenue Salvador Allende  80000 Amiens.
Avenue Salvador Allende  83300 Draguignan.
Avenue Salvador Allende  83500 La Seyne-sur-Mer.
Avenue Salvador Allende  84500 Bollène.
Avenue Salvador Allende  87120 Eymoutiers.
Avenue Salvador Allende  88000 Epinal.
Avenue Salvador Allende  91160 Saulx-les-Chartreux.
Avenue Salvador Allende  93270 Sevran.
Avenue Salvador Allende  93800 Epinay-sur-Seine.
Avenue Salvador Allende  94500 Champigny-sur-Marne.
Avenue Salvador Allende  95150 Taverny.
Avenue Salvador Allende -Gossens 51100 Reims.
Avenue Salvador Allende  Marseille.
Boulevard du Président Allende  03100 Montluçon.
Boulevard du Président Allende  03410 Domérat.
Boulevard du Président Allende  13920 Saint-Mitre-les-Remparts.
Boulevard du Président Allende  27000 Evreux.
Boulevard du Président Allende  29000 Quimper.
Boulevard du Président Allende  62000 Arras.
Boulevard Salvador Allende  13850 Gréasque.
Boulevard Salvador Allende  14550 Blainville-sur-Orne.
Boulevard Salvador Allende  16000 Angoulême.
Boulevard Salvador Allende  18100 Vierzon.
Boulevard Salvador Allende  21800 Chevigny-Saint-Sauveur.
Boulevard Salvador Allende  25000 Besançon.
Boulevard Salvador Allende  29100 Douarnenez.
Boulevard Salvador Allende  33210 Langon.
Boulevard Salvador Allende  42100 Saint-Etienne.
Boulevard Salvador Allende  42130 Boën.
Boulevard Salvador Allende  44100 Nantes.
Boulevard Salvador Allende  44800 Saint-Herblain.
Boulevard Salvador Allende  52100 Saint-Dizier.
Boulevard Salvador Allende  56650 Inzinzac-Lochrist.
Boulevard Salvador Allende  59200 Tourcoing.
Boulevard Salvador Allende  60100 Creil.
Boulevard Salvador Allende  62110 Hénin-Beaumont.
Boulevard Salvador Allende  78700 Conflans-Sainte-Honorine.
Boulevard Salvador Allende  84700 Sorgues.
Boulevard Salvador Allende  95200 Sarcelles.
Cité du Président Salvador Allende  24290 Montignac.
Cité Salvador Allende  59131 Rousies.
Cité Salvador Allende  59224 Thiant.
Cour du Président Allende  08400 Vouziers.
Grande Rue Salvador Allende  74190 Passy.
Impasse Salvador Allende  09200 Saint-Girons.
Impasse Salvador Allende  24750 Trélissac.
Impasse Salvador Allende  34370 Maraussan.
Impasse Salvador Allende  35400 Saint-Malo.
Impasse Salvador Allende  79300 Bressuire.
Impasse Salvador Allende  90300 Valdoie.
Mail Salvador Allende  76410 Cléon.
Parc Salvador Allende  95360 Montmagny.
Place Allende  24660 Coulounieix-Chamiers.
Place Allende  27600 Gaillon.
Place Allende  29600 Morlaix.
Place Allende  29730 Guilvinec.
Place Allende  81400 Blaye-les-Mines.
Place du Président Allende  54260 Longuyon.
Place du Président Allende  66200 Elne.
Place du Président Salvador Allende  45120 Châlette-sur-Loing.
Place Neruda-Allende  54310 Homécourt.
Place Salvador Allende  12150 Sévérac-le-Château.
Place Salvador Allende  14270 Mézidon-Canon.
Place Salvador Allende  18100 Vierzon.
Place Salvador Allende  21300 Chenôve.
Place Salvador Allende  24200 Sarlat-la-Canéda.
Place Salvador Allende  33850 Léognan.
Place Salvador Allende  38120 Saint-Egrève.
Place Salvador Allende  38800 Le Pont-de-Claix.
Place Salvador Allende  54400 Longwy.
Place Salvador Allende  62143 Angres.
Place Salvador Allende  73000 Chambéry.
Place Salvador Allende  76210 Bolbec.
Place Salvador Allende  77290 Mitry-Mory.
Place Salvador Allende  78280 Guyancourt.
Place Salvador Allende  87230 Châlus.
Place Salvador Allende  91000 Evry.
Place Salvador Allende  et Pablo Neruda 07150 Vallon-Pont-d'Arc.
Résidence Salvador Allende  62138 Violaines.
Résidence Salvador Allende  62360 Saint-Etienne-au-Mont.
Rond-Point Salvador Allende  31520 Ramonville-Saint-Agne.
Rond-Point Salvador Allende  64340 Boucau.
Rond-Point Salvador Allende  77130 Montereau-Fault-Yonne.
Rond-Point Salvador Allende  77500 Chelles.
Rue Allende  04000 Digne-les-Bains.
Rue Allende  13600 La Ciotat.
Rue Allende  31190 Auterive.
Rue Allende  33340 Lesparre-Médoc.
Rue Allende  47300 Villeneuve-sur-Lot.
Rue Allende  62410 Meurchin.
Rue Allende  80130 Friville-Escarbotin.
Rue Allende  87570 Rilhac-Rancon.
Rue du Président Allende  02430 Gauchy.
Rue du Président Allende  17000 La Rochelle.
Rue du Président Allende  36130 Montierchaume.
Rue du Président Allende  54490 Piennes.
Rue du Président Allende  59185 Provin.
Rue du Président Allende  59560 Comines.
Rue du Président Allende  62219 Longuenesse.
Rue du Président Allende  62260 Auchel.
Rue du Président Allende  62490 Vitry-en-Artois.
Rue du Président Allende  80800 Corbie.
Rue du Président Allende  94250 Gentilly.
Rue du Président Salvador Allende  08200 Sedan.
Rue du Président Salvador Allende  24100 Bergerac.
Rue du Président Salvador Allende  33560 Carbon-Blanc.
Rue du Président Salvador Allende  42240 Unieux.
Rue du Président Salvador Allende  54130 Saint-Max.
Rue du Président Salvador Allende  54650 Saulnes.
Rue du Président Salvador Allende  59970 Fresnes-sur-Escaut.
Rue du Président Salvador Allende  62640 Montigny-en-Gohelle.
Rue du Président Salvador Allende  69200 Vénissieux.
Rue du Président Salvador Allende  76700 Harfleur.
Rue du Président Salvador Allende  79200 Parthenay.
Rue du Président Salvador Allende  91240 Saint-Michel-sur-Orge.
Rue du Président Salvador Allende  91270 Vigneux-sur-Seine.
Rue du Président Salvador Allende  92700 Colombes.
Rue Salvador Allende  01500 Ambérieu-en-Bugey.
Rue Salvador Allende  02000 Laon.
Rue Salvador Allende  02200 Soissons.
Rue Salvador Allende  02500 Hirson.
Rue Salvador Allende  03630 Désertines.
Rue Salvador Allende  08000 Charleville-Mézières.
Rue Salvador Allende  09000 Foix.
Rue Salvador Allende  09400 Tarascon-sur-Ariège.
Rue Salvador Allende  09600 Laroque-d'Olmes.
Rue Salvador Allende  10100 Romilly-sur-Seine.
Rue Salvador Allende  10100 Romilly-sur-Seine.
Rue Salvador Allende  11000 Carcassonne.
Rue Salvador Allende  14123 Fleury-sur-Orne.
Rue Salvador Allende  14160 Dives-sur-Mer.
Rue Salvador Allende  14460 Colombelles.
Rue Salvador Allende  15000 Aurillac.
Rue Salvador Allende  16100 Châteaubernard.
Rue Salvador Allende  17440 Aytré.
Rue Salvador Allende  18500 Foëcy.
Rue Salvador Allende  18500 Foëcy.
Rue Salvador Allende  19000 Tulle.
Rue Salvador Allende  19000 Tulle.
Rue Salvador Allende  21500 Montbard.
Rue Salvador Allende  21600 Longvic.
Rue Salvador Allende  22300 Lannion.
Rue Salvador Allende  22500 Paimpol.
Rue Salvador Allende  23000 Guéret.
Rue Salvador Allende  24130 Prigonrieux.
Rue Salvador Allende  24300 Nontron.
Rue Salvador Allende  24750 Boulazac.
Rue Salvador Allende  26100 Romans-sur-Isère.
Rue Salvador Allende  28000 Chartres.
Rue Salvador Allende  28100 Dreux.
Rue Salvador Allende  28300 Mainvilliers.
Rue Salvador Allende  29270 Carhaix-Plouguer.
Rue Salvador Allende  30100 Alès.
Rue Salvador Allende  30600 Vauvert.
Rue Salvador Allende  32000 Auch.
Rue Salvador Allende  33140 Villenave-d'Ornon.
Rue Salvador Allende  33150 Cenon.
Rue Salvador Allende  33400 Talence.
Rue Salvador Allende  34130 Mauguio.
Rue Salvador Allende  34200 Sète.
Rue Salvador Allende  34490 Lignan-sur-Orb.
Rue Salvador Allende  34500 Béziers.
Rue Salvador Allende  34725 Saint-André-de-Sangonis.
Rue Salvador Allende  34920 Le Crès.
Rue Salvador Allende  36100 Issoudun.
Rue Salvador Allende  38150 Salaise-sur-Sanne.
Rue Salvador Allende  38290 La Verpillière.
Rue Salvador Allende  38500 Voiron.
Rue Salvador Allende  40000 Mont-de-Marsan.
Rue Salvador Allende  41100 Saint-Ouen.
Rue Salvador Allende  42150 La Ricamarie.
Rue Salvador Allende  42153 Riorges.
Rue Salvador Allende  42350 La Talaudière.
Rue Salvador Allende  42500 Le Chambon-Feugerolles.
Rue Salvador Allende  42700 Firminy.
Rue Salvador Allende  44340 Bouguenais.
Rue Salvador Allende  44550 Montoir-de-Bretagne.
Rue Salvador Allende  44620 La Montagne.
Rue Salvador Allende  45400 Fleury-les-Aubrais.
Rue Salvador Allende  45800 Saint-Jean-de-Braye.
Rue Salvador Allende  49000 Angers.
Rue Salvador Allende  50120 Equeurdreville-Hainneville.
Rue Salvador Allende  50130 Cherbourg-Octeville.
Rue Salvador Allende  51000 Châlons-en-Champagne.
Rue Salvador Allende  51350 Cormontreuil.
Rue Salvador Allende  52200 Langres.
Rue Salvador Allende  53000 Laval.
Rue Salvador Allende  54190 Villerupt.
Rue Salvador Allende  54230 Neuves-Maisons.
Rue Salvador Allende  54300 Lunéville.
Rue Salvador Allende  54510 Tomblaine.
Rue Salvador Allende  54510 Tomblaine.
Rue Salvador Allende  54590 Hussigny-Godbrange.
Rue Salvador Allende  54800 Jarny.
Rue Salvador Allende  55000 Bar-le-Duc.
Rue Salvador Allende  55310 Tronville-en-Barrois.
Rue Salvador Allende  56300 Pontivy.
Rue Salvador Allende  56530 Quéven.
Rue Salvador Allende  58000 Nevers.
Rue Salvador Allende  58660 Coulanges-lès-Nevers.
Rue Salvador Allende  59151 Arleux.
Rue Salvador Allende  59161 Escaudoeuvres.
Rue Salvador Allende  59241 Masnières.
Rue Salvador Allende  59286 Roost-Warendin.
Rue Salvador Allende  59300 Aulnoy-lez-Valenciennes.
Rue Salvador Allende  59553 Cuincy.
Rue Salvador Allende  59760 Grande-Synthe.
Rue Salvador Allende  59770 Marly.
Rue Salvador Allende  60110 Méru.
Rue Salvador Allende  60130 Saint-Just-en-Chaussée.
Rue Salvador Allende  60160 Montataire.
Rue Salvador Allende  60340 Saint-Leu-d'Esserent.
Rue Salvador Allende  60700 Pont-Sainte-Maxence.
Rue Salvador Allende  61600 La Ferté-Macé.
Rue Salvador Allende  62100 Calais.
Rue Salvador Allende  62119 Dourges.
Rue Salvador Allende  62200 Boulogne-sur-Mer.
Rue Salvador Allende  62220 Carvin.
Rue Salvador Allende  62232 Vendin-lès-Béthune.
Rue Salvador Allende  62480 Le Portel.
Rue Salvador Allende  62510 Arques.
Rue Salvador Allende  62790 Leforest.
Rue Salvador Allende  63000 Clermont-Ferrand.
Rue Salvador Allende  63300 Thiers.
Rue Salvador Allende  63360 Gerzat.
Rue Salvador Allende  63500 Issoire.
Rue Salvador Allende  64700 Hendaye.
Rue Salvador Allende  66400 Céret.
Rue Salvador Allende  69600 Oullins.
Rue Salvador Allende  70300 Luxeuil-les-Bains.
Rue Salvador Allende  70400 Héricourt.
Rue Salvador Allende  71130 Gueugnon.
Rue Salvador Allende  71250 Cluny.
Rue Salvador Allende  71880 Châtenoy-le-Royal.
Rue Salvador Allende  72440 Bouloire.
Rue Salvador Allende  76140 Le Petit-Quevilly.
Rue Salvador Allende  76200 Dieppe.
Rue Salvador Allende  76530 Grand-Couronne.
Rue Salvador Allende  76650 Petit-Couronne.
Rue Salvador Allende  77240 Vert-Saint-Denis.
Rue Salvador Allende  78114 Magny-les-Hameaux.
Rue Salvador Allende  80400 Ham.
Rue Salvador Allende  81000 Albi.
Rue Salvador Allende  81100 Castres.
Rue Salvador Allende  83700 Saint-Raphaël.
Rue Salvador Allende  85000 La Roche-sur-Yon.
Rue Salvador Allende  85340 Olonne-sur-Mer.
Rue Salvador Allende  86000 Poitiers.
Rue Salvador Allende  86400 Civray.
Rue Salvador Allende  87170 Isle.
Rue Salvador Allende  87410 Le Palais-sur-Vienne.
Rue Salvador Allende  89100 Sens.
Rue Salvador Allende  89400 Migennes.
Rue Salvador Allende  90000 Belfort.
Rue Salvador Allende  90100 Delle.
Rue Salvador Allende  90130 Montreux-Château.
Rue Salvador Allende  91150 Etampes.
Rue Salvador Allende  91430 Igny.
Rue Salvador Allende  92000 Nanterre.
Rue Salvador Allende  95610 Eragny.
Rue Salvador Allende  95870 Bezons.
Rue Salvador Allende  Le Havre.
Rue Saly Allende  64000 Pau.
Salvador Allende  34110 Frontignan.
Square Allende  59380 Armbouts-Cappel.
Square Allende  59610 Fourmies.
Square du Président Allende  67000 Strasbourg.
Square du Président Salvador Allende  59150 Wattrelos.
Square Salvador Allende  49800 Trélazé.
Square Salvador Allende  77280 Othis.
Square Salvador Allende  77610 Fontenay-Trésigny.
Square Salvador Allende  94240 L'Haÿ-les-Roses.
Square Salvador Allende  95470 Fosses.

Ver también: Pablo Neruda en Francia

ID:
Traceback (most recent call last):
  File "C:\Users\canogle\OneDrive\OneDrive - MSCI Office 365\03 Training\datasets-of-interest\a-place-for-salvador-allende\allende-scraper-main.py", line 550, in <module>
    country_en = allende_countries[country_es]['country_en']
                 ~~~~~~~~~~~~~~~~~^^^^^^^^^^^^
KeyError: '..'

jamieglohere commented 1 year ago

Searching for places in Liège, Belgium returns several distinct places, so Belgium might as well piggyback on this script.

jamieglohere commented 1 year ago

Portugal too!

jamieglohere commented 1 year ago

Portugal too!

Done with allende_scraper_portugal.py 👌

jamieglohere commented 1 year ago

Searching for places in Liège, Belgium returns several distinct places, so Belgium might as well piggyback on this script.

This one's done too with allende_scraper_belgium_liege.py which is basically the multi-locale scraper adapted for one link

jamieglohere commented 1 year ago

The process is more convoluted that I thought:

allende_scraper_france_streets.py is for the streets above
allende_scraper_france_links.py is for the links that weren't caught in france_streets - this works like a single-locale scraper for every article
allende_scraper_france_paris.py is for this separate list of places in Paris's top-level region that I hadn't seen before, so I made this to catch places that weren't already caught in france_streets and france_links

jamieglohere / a-place-for-salvador-allende

Create a separate scraper for places in France #1