search

r0bn / swp2

Softwareprojekt HFT Stuttgart
1 stars 1 forks source link

metadaten no robots einfuegen #22

Closed r0bn closed 9 years ago

r0bn commented 9 years ago

auf jeder html seite folgenden tag anzeigen:

und eine robots.txt anlegen mit: User-agent: \* Disallow: / damit müssten wir alle bots ausgesperrt haben