search

osm-fr / infrastructure

Handle tickets against osm-fr infrastructure
MIT License
22 stars 4 forks source link

nuissance semrush #79

Open Marc-marc-marc opened 5 years ago

Marc-marc-marc commented 5 years ago

https://www.semrush.com/bot/ un parfait exemple de nuisible... 5000 téléchargement de fichier .osm provenant des extractions cadastrales....

Marc-marc-marc commented 5 years ago

sur osm104 création de /data/project/cadastre.openstreetmap.fr/web/robots.txt avec

User-agent: SemrushBot
Disallow: /
User-agent: SemrushBot-SA
Disallow: /

fait pareil pour le vhost bano et imagery

je préconise son blocage généralisé (dans un monde idéal on devrait définir + finement les url interdite)

jocelynj commented 5 years ago

Est-ce que SemrushBot sévit encore ?

frodrigo commented 4 years ago

Pour Osmose on a un RewriteRule pour lui. C'est un bot enorme qui cherche les pub et ne respecte pas les robot.txt