robots.txt の最適化

sanabutton / sanabutton.github.io

サーバサイドの実装と音声データのインデックス

https://www.natorisana.love

MIT License

57 stars 6 forks source link

Closed ndxbn closed 3 years ago

ndxbn commented 3 years ago

/api とかも sitemap に含まれてしまっているので、root に置かれているページのみをクロール対象にする

ndxbn commented 3 years ago

メインページ以外は全部弾いたほうが良さそう『タロ耳又ボタン』も検索避けしたほうが良い

ndxbn commented 3 years ago

2021-06-16_16-58-26_001117