Closed xiaozhu2007 closed 1 year ago
可以考虑修改 robots.txt,让 jump 相关网页不被收录。
此类跳转链接可由他人生成(Base64),百科大概率不可控,加黑名单恐怕也加不完。
可以考虑修改 robots.txt,让 jump 相关网页不被收录。
此类跳转链接可由他人生成(Base64),百科大概率不可控,加黑名单恐怕也加不完。
正确的,robots.txt中只写了部分增加/修改/删除的方法的Disallow
,如下:
# robots.txt
User-agent: *
Disallow: /class/add/
Disallow: /class/edit/
Disallow: /class/version/add/
Disallow: /class/version/edit/
Disallow: /item/add/
Disallow: /item/edit/
Disallow: /item/tab/add/
Disallow: /item/tab/edit/
Disallow: /item/tab/del/
Disallow: /post/add/
Disallow: /post/edit/
Disallow: /author/add/
Disallow: /author/edit/
Disallow: /modpack/add/
Disallow: /modpack/edit/
Disallow: /modpack/version/add/
Disallow: /modpack/version/edit/
Disallow: /history/estimate/
Sitemap: /sitemap.xml
更新很及时,点赞! 当前robots.txt
# robots.txt
User-agent: *
Disallow: /class/add/
Disallow: /class/edit/
Disallow: /class/version/add/
Disallow: /class/version/edit/
Disallow: /item/add/
Disallow: /item/edit/
Disallow: /item/tab/add/
Disallow: /item/tab/edit/
Disallow: /item/tab/del/
Disallow: /post/add/
Disallow: /post/edit/
Disallow: /author/add/
Disallow: /author/edit/
Disallow: /modpack/add/
Disallow: /modpack/edit/
Disallow: /modpack/version/add/
Disallow: /modpack/version/edit/
Disallow: /history/estimate/
Disallow: /jump/
Sitemap: /sitemap.xml
robots.txt
的限制部分参考:https://developers.google.com/search/docs/crawling-indexing/robots/intro?hl=zh-cn#understand-the-limitations-of-a-robots.txt-file
建议在服务端增加非主站点ref的网站跳转确认页面
简单复现:在 Google 上搜索
free porn site:mcmod.cn
还有一大堆问题稍后在下方评论