search

jorcox / GeoCrawler

Apache License 2.0
3 stars 0 forks source link

Hablar de robots.txt #65

Closed jorcox closed 8 years ago

jorcox commented 8 years ago

Explicar el funcionamiento de este elemento y los problemas que me ha causado.

Ejemplo: http://ogc.larioja.org/robots.txt