robots.txt, noindex & nofollow e peidetud lehtede robotite eest peitmine

[jaanleppik]

Eesmärk on valitud lehti peita Google jt otsimootorite eest (tooted, persoonid, filmid jms)

Selleks on 2 võimalust:

1. meta tag'iga head'is märgistada lehed, mida ei tohiks robotid indekseerida
2. robots.txt failis loetleda url'id, mida ei tohiks robotid indekseerida

Mõned artiklid: https://blog.hubspot.com/marketing/how-to-unindex-pages-from-search-engines https://blog.hubspot.com/marketing/robots-txt-file https://www.internetmarketingninjas.com/tools/robots-txt-generator/

Meie peaks

• lisama Strapis collectionitele, mille elementide lehti tahame peita, märke / booleani, tähistamaks lehe mitte-indekseeritavust.
• lisama lehe url'id (3 keelt) robots.txt faili ja selle uuendama
• ja / või lisama lehe head'i meta tag'i . See tähendab, et iga lehe ehitamisel, tema head'i ehitamisel, peab kontrollima tema peidetuse booleani ja selle head'i kirjutama.

[jaanleppik]

boolean loodud, nimega 'hidden'

• [x] product_category
• [ ] film
• [ ] article
• [ ] person etc

[LiisKasper]

Leidsin umbes sellise lahenduse:

    if self.hidden
        -var link = document.createElement('meta')
            link.setAttribute('name', 'robots');
            link.content = 'noindex' ;
            document.getElementsByTagName('head')[0].appendChild(link)

Igale lehele kus on kirjas hidden tuleks juurde kirjutada meta tag. @mpennaste rumal küsimus, kas igal lehel on oma head, või selliselt meta tag lisades saavad kõik, nt filmid, endale meta külge?

[mpennaste]

@mpennaste rumal küsimus, kas igal lehel on oma head, või selliselt meta tag lisades saavad kõik, nt filmid, endale meta külge?

Ahoi, pole rumalat miskit. Iga leht genereeritakse ENTU poolt eraldi, st igal lehel kõik tagid algusest lõpuni olemas. Seda siis tehtakse template'ide alusel, meil on nt ssg\source_templates\head_common.pug template mis kõigi domeenide lehtedel ühine ja igal domeenil ka oma head template (ala ssg\source_templates\head_poff.pug). St kõik, st filmid, artiklid jne, juhul kui nende self.hidden on true, saavad külge, kui pole true või üldse midagi määratud, siis ei saa.

Usun, et sinna head_common template sisse ta kuhugi võikski panna, seal teisigi if lausetega meta tage... ma nüüd küll ei tea kas just javascripti kasutada vajalik, kas sama näite alusel lihtsalt pärast if lauset meta(name='robots' content='noindex') sama tulemust ei anna? Pole kindel, aga teoorias tundub, et võiks anda.