search

codeforsaga / covid19

佐賀県 新型コロナウイルス感染症対策サイト / Saga COVID-19 Task Force website
MIT License
7 stars 8 forks source link

robots.txtでのDisallow指定について #14

Closed msx2mac closed 4 years ago

msx2mac commented 4 years ago

起こっている問題 / The Problem

production環境でのrobots.txtにおいてDisallow指定されており、クローラーで除外されています。

スクリーンショット / Screenshot

image

期待する見せ方・挙動 / Expected Behavior

develop.ymlで指定されているrobots.txtが、productionへのdeploy時にそのまま配置されていると思われます。 production環境では別途robots.txtを準備するか、deploy時に書き換えるべきだと思います。

起こっている問題の再現手段 / Steps to Reproduce

chromeにて https://stopcovid19.code4saga.org/robots.txt へアクセスし確認しました。

動作環境・ブラウザ / Environment

ktouda-lml commented 4 years ago

ありがとうございます 取り急ぎdevelop.ymlでのrobot.txtのビルド部分の修正を行い サイト側に反映しておりますので連絡いたします。

msx2mac commented 4 years ago

@ktouda-lml ありがとうございます！

msx2mac commented 4 years ago

@ktouda-lml 後で対応されると思いますが、今回の修正ではdevelopment環境がインデックスされる可能性があるため、一応openのままにしておきます。 https://github.com/tokyo-metropolitan-gov/covid19/issues/198

もしdevelopment環境自体、ACL等でクロール制限されている、もしくは閉じられた環境であれば、closeしていただければと思います。

ktouda-lml commented 4 years ago

ご指摘ありがとうございます。承知しました。 development環境はクローズドな環境で確認しておりクロールは制限されておりますので 大丈夫です。 こちらのissueをcloseさせていただきますのでよろしくお願いいたします。