search

contao / manager-bundle

[READ-ONLY] Contao Manager Bundle
GNU Lesser General Public License v3.0
17 stars 10 forks source link

robots.txt fehlt #56

Closed bekanntmacher closed 6 years ago

bekanntmacher commented 6 years ago

Bei der Installation fehlt die robots.txt. Die saubere Lösung wäre aber:

User-Agent: *
Disallow:

Denn eine fehlende robots.txt sendet dem Crawler ein 404.

aschempp commented 6 years ago

@contao/developers should we add one to the skeleton? I honestly liked the optimizations we had in Contao 3.5 (same for the .htaccess).

Toflar commented 6 years ago

I liked them too. I‘d say yes.

fritzmg commented 6 years ago

Denn eine fehlende robots.txt sendet dem Crawler ein 404.

Das ist kein Problem und gilt natürlich für jede Ressource, die auf dem Server nicht existiert ;). Google hat (angeblich) sogar mal selbst empfohlen keine robots.txt zu verwenden, wenn du ohnehin alles indexiert haben möchtest.

bekanntmacher commented 6 years ago

Google hat (angeblich) sogar mal selbst empfohlen keine robots.txt zu verwenden, wenn du ohnehin alles indexiert haben möchtest.

Das stimmt so nicht. Google empfiehlt eine robots.txt

Alle grossen Boots stützen sich auf die robots.txt ab. Wieso sollen wir ihnen diese Information nicht geben?

fritzmg commented 6 years ago

Mit einer robots.txt so wie du sie gepostet hast, gibst du dem Crawler keine zusätzlichen Informationen.

bekanntmacher commented 6 years ago

Du beantwortest meine Frage nicht

fritzmg commented 6 years ago

Du beantwortest meine Frage nicht

Falls deine Frage ist, ob es einen Grund geben könnte eine robots.txt mit dem Inhalt

User-Agent: *
Disallow:

nicht zu haben, dann kann ich dir das auch nicht beantworten ;). Ich hinterfrage es nur.

I honestly liked the optimizations we had in Contao 3.5 (same for the .htaccess).

Regarding the .htaccess I agree. I always copy the same parts into the .htaccess for each new Contao 4 installation (i.e. the same rules that are present in the .htaccess.default in Contao 3 regarding caching and compression for example). This has already been suggested in the past, but nothing was done about it (yet).

leofeyer commented 6 years ago

Implemented in 1ee049f32d0a30e29373c160a73c60cbff3b86d6.

akroii commented 5 years ago

Just a note: Google doesn't support robots.txt at 1th sep 2019 anymore https://webmasters.googleblog.com/2019/07/a-note-on-unsupported-rules-in-robotstxt.html

fritzmg commented 5 years ago

@akroii the article says

In the interest of maintaining a healthy ecosystem and preparing for potential future open source releases, we're retiring all code that handles unsupported and unpublished rules (such as noindex) on September 1, 2019.

The robots.txt itself is still used.

akroii commented 5 years ago

Sorry, ... my fault. I mean the Disallow rule. See here https://t3n.de/news/robotstxt-google-schafft-andere-1175830/

fritzmg commented 5 years ago

No, the Disallow rule is still supported.

The following rules will not be supported any more: